分布式部署opentsdb

最新推荐文章于 2022-06-07 19:39:31 发布

lfxyan

最新推荐文章于 2022-06-07 19:39:31 发布

阅读量3.6k

点赞数 1

分类专栏：配置文件文章标签： opentsdb hbase

本文链接：https://blog.csdn.net/lfxyan/article/details/45914365

版权

配置文件专栏收录该内容

6 篇文章 0 订阅

订阅专栏

一. 要注意hbase和hadoop的版本对应。

hbase与hadoop版本对应关系

本次安装使用的是：
hadoop-2.4.1
hbase-0.98.12-hadoop2
zookeeper-3.4.6
opentsdb-2.1.0

二. hadoop安装

本次安装了三个节点，ip如下：
172.16.31.64 ubuntu64 namenode
172.16.31.63 ubuntu63 datanode
172.16.31.62 ubuntu62 datanode

1 . 安装Java

apt-get install openjdk-7-jdk

2 . hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

3 . core-site.xml

<configuration>
     <property>
         <name>fs.defaultFS</name>
         <value>hdfs://ubuntu64:9000/</value>
     </property>
     <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
     </property>
 </configuration>

4 . hdfs-site.xml

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>2</value>
     </property>
     <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:///home/czq/dfs/name</value>
     </property>
     <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:///home/czq/dfs/data</value>
     </property>
     <property>
         <name>dfs.namenode.hosts</name>
         <value>ubuntu63,ubuntu62</value>
     </property>
     <property>
         <name>dfs.blocksize</name>
         <value>268435456</value>
      </property>
      <property>
         <name>dfs.namenode.handler.count</name>
         <value>100</value>
      </property>
 </configuration>

5 . slaves

ubuntu63
ubuntu62

6 . 启动

在ubuntu64中：
sbin/hadoop-daemon.sh --config etc/hadoop/ --script hdfs start namenode
在ubuntu63和ubuntu62中：
sbin/hadoop-daemon.sh --config etc/hadoop/ --script hdfs start datanode
bin/hadoop namenode -format
bin/hadoop dfsadmin -report
bin/hdfs dfs -cp file:///usr/local/hadoop-2.4.1/README.txt hdfs://ubuntu64:9000/test/

三. hbase安装

hbase-env.sh

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HBASE_MANAGES_ZK=false

2 . hbase-site.xml

<configuration>
     <property>
         <name>hbase.rootdir</name>
         <value>hdfs://ubuntu64:9000/hbase</value>
     </property>
     <property>
         <name>hbase.cluster.distributed</name>
         <value>true</value>
     </property>
     <property>
         <name>hbase.zookeeper.quorum</name>
         <value>ubuntu64,ubuntu63,ubuntu62</value>
     </property>
     <property>
         <name>hbase.zookeeper.property.dataDir</name>
         <value>/home/czq/tmp</value>
     </property>
     <property>
         <name>hbase.zookeeper.property.clientPort</name>
         <value>2181</value>
     </property>
 </configuration>

3 . 运行：

bin/start-hbase.sh
bin/hbase shell
create 'scores','grade', 'course'

四. zookeeper安装

zoo.cfg

cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/czq/tmp
clientPort=2181
server.1=172.16.31.64:2888:3888
server.2=172.16.31.63:2888:3888
server.3=172.16.31.62:2888:3888

2 . 配置myid

in 172.16.31.64
echo "1" > /home/czq/tmp/myid
in 172.16.31.63
echo "2" > /home/czq/tmp/myid
in 172.16.31.62
echo "3" > /home/czq/tmp/myid

3 . 在每台server中运行:

bin/zkServer.sh start
bin/zkServer.sh status

五. opentsdb安装

1 . 环境

apt-get install gnuplot
apt-get install autoconf
apt-get install python

2 . 下载和编译

wget https://github.com/OpenTSDB/opentsdb/releases/download/v2.1.0/opentsdb-2.1.0.tar.gz
tar zxvf opentsdb-2.1.0.tar.gz
./build.sh

3 . 创建表和运行

env COMPRESSION=NONE HBASE_HOME=/usr/local/hbase-0.98.12-hadoop2 ./src/create_table.sh
./build/tsdb tsd --port=4242 --staticroot=build/staticroot --cachedir="/home/czq/tmp" --zkquorum=ubuntu64:2181

 access the TSD's web interface through http://172.16.31.64:4242