搭建Hbase+openTSDB+Grafana测试环境

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/jinzhencs/article/details/53817400

系统:ubuntu 14.04

本文分为5步一步步搭建一个zk-hbase-opentsdb-grafana的测试环境

  1. 搭建zookeeper伪集群
  2. HBase部署并连接本机zookeeper
  3. 安装opentsdb并设置zk
  4. 安装部署grafana
  5. grafana界面配置数据源为opentsdb

一.搭建ZK

搭建单机版zookeeper

mkdir zookeeper
cd zookeeper
wget http://supergsego.com/apache/zookeeper/stable/zookeeper-3.4.9.tar.gz
tar -zxvf zookeeper-3.4.9.tar.gz ./
cd zookeeper-3.4.9/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg(修改配置、端口等)
cd ..
./bin/zkServer.sh start &(&表示daemon运行)


二.HBase部署并连接本机zookeeper

一.安装jdk

1.下载解压

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
官方下载jdk8 linux-64.tar.gz到本地,拷贝至可访问的机器上.


在目标机器执行命令:

scp root@10.1.1.1:/home/jdk8.tar.gz  /home/java

然后解压缩.

2.添加环境变量

执行命令:vim /etc/profile

JAVA_HOME=/home/java/jdk8
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

执行命令:source /etc/profile使其立即生效
java -version验证.

二.安装HBase

http://www.apache.org/dyn/closer.cgi/hbase/
官网下载最新的stable版本的Hbase.并拷贝至目标机器解压缩.

ps:
在安装Hbase单机/集群之前,必须先编辑hosts文件指定realIp hostname
例如:
hostname (ubuntu)
则需要修改/etc/hosts文件 10.0.0.1 ubuntu
否则regionServer无法绑定16201端口

1.修改HBase配置文件

进入解压后的目录,进入conf文件夹
修改jdk配置: hbase-env.sh

export JAVA_HOME=/home/java/jdk8

#tell hbase use other zk
export HBASE_MANAGES_ZK=false

修改并配置zk地址(单机模式): hbase-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <property> <!--单机数据写入-->
    <name>hbase.rootdir</name>
    <value>/home/mcc/hbase</value>
  </property>
<property> <!--绑定端口-->
    <name>hbase.master.info.port</name>
    <value>16001</value>
</property>

 <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>

  <property> <!--zk地址,多个使用逗号分隔-->
    <name>hbase.zookeeper.quorum</name>
    <value>localhost:12181</value>
  </property>
</configuration>

修改并配置regionservers : regionservers

<!--此处和上一步配置的zk host匹配-->
localhost

三.启动Hbase

进入Hbase目录下的/bin目录.

./start-hbase.sh

至此,Hbase单机版已经搭建并启动成功。


之后可以通过命令来查看hbase的服务器日志.

bin/hbase shell

浏览器输入: http://10.2.1.12:16001 访问
并查看zookeeper是否配置成功


三.安装opentsdb

参考:
http://opentsdb.net/docs/build/html/installation.html#runtime-requirements

在安装opentsdb之前,需要装一些必须的环境.

  • make
  • automake
  • gnuplot

1.下载&拷贝&解压

https://github.com/OpenTSDB/opentsdb/releases
ps:下载速度慢可以使用lantern

2.安装gnuplot

apt-get install make
apt-get install automake
apt-get install gnuplot

3.为opentsdb在hbase中创建表(必须)

注意修改HBASE_HOME为你hbase的根目录

root@ub12:/home/mcc/opentsdb/opentsdb-2.2.1# env COMPRESSION=NONE HBASE_HOME=/home/mcc/hbase/hbase-1.2.4 ./src/create_table.sh

4.安装

1.进入解压后的目录执行build

root@ub12:/home/mcc/opentsdb/opentsdb-2.2.1# ./build.sh 

2.在build目录下新建配置文件opentsdb.conf
参考:http://opentsdb.net/docs/build/html/user_guide/configuration.html_


root@ub12:/home/mcc/opentsdb/opentsdb-2.2.1/build# vi opentsdb.conf

tsd.network.port=16002
tsd.http.staticroot=staticroot  <!--build目录下的staticroot,因此我们在同级目录创建conf-->
tsd.http.cachedir=/home/mcc/opentsdb/cachedir
tsd.core.auto_create_metrics=true
tsd.storage.hbase.zk_quorum=localhost:12181

3.启动

root@ub12:/home/mcc/opentsdb/opentsdb-2.2.1/build# ./tsdb tsd --config=opentsdb.conf > /tmp/opentsdb.log 2>&1 &
[1] 91642

完毕后浏览器访问: http://10.2.1.12:16002


四.安装部署grafana

1.下载

https://grafanarel.s3.amazonaws.com/builds/grafana-4.0.2-1481203731.linux-x64.tar.gz

2.解压缩

3.拷贝并覆盖默认配置

root@ub12:/home/mcc/grafana/grafana/conf# cp defaults.ini custom.ini
vi custom.ini

http_port = 16003

具体配置参考:http://docs.grafana.org/installation/debian/

4.启动

root@ub12:/home/mcc/grafana/grafana# ./bin/grafana-server web

5.为grafana配置数据源为opentsdb

grafana默认admin账号

admin admin

登入后,
这里写图片描述

点击DataSource > add DataSource.填写相关的信息
这里写图片描述

注意Access是proxy.成功!

6.创建个图表,并配置告警

这里写图片描述

这里写图片描述
这里写图片描述


这里写图片描述


这里写图片描述

配置发送alert邮件、短信告警

1.先添加一组告警模板,调用我们自定义的接口。
这里写图片描述
这里写图片描述

2.在具体的一个 图表设置中配置alert并采用我们定义好的自定义告警
这里写图片描述

3.Send Test看是否调用成功

日志

参考:
https://segmentfault.com/a/1190000008226841

root@ub:/home/mcc/grafana/grafana/data/log#

展开阅读全文

没有更多推荐了,返回首页