Centos7下为Open-falcon部署OpenTsdb

最新推荐文章于 2022-03-18 01:21:04 发布
最新推荐文章于 2022-03-18 01:21:04 发布
阅读量503 收藏 1
点赞数
分类专栏： Open-falcon学习 文章标签： Opentsdb 小米开源 监控系统 open-flacon
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiangxuege/article/details/106824755
版权

一边安装一边写，写得略乱

安装OpenTsdb需要HBase，HBase需要Zookeeper和HDFS

这一串都是apache家的，安装java是必须的

yum install -y java

一、安装Zookeeper

在五个节点上部署zk

下载tar包https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz

解压

tar -xzvf apache-zookeeper-3.6.1-bin.tar.gz
mv apache-zookeeper-3.6.1-bin zookeeper

修改配置文件，zookeeper/conf目录下有三个配置文件

修改log4j.properties里的zookeeper.log.dir，修改日志目录

zoo_sample.cfg是一个默认的zoo.cfg配置，这个是zookeeper的主要配置文件，复制一份

cp zoo_sample.cfg zoo.cfg

修改数据文件目录dataDir，端口按需修改

配置集群，把集群中所有节点写上，2888是zk节点通信端口，3888是zk选举端口

然后就可以推送到各个节点的安装目录下，我是放到了/usr/local，顺便我把配置目录做了软链接到/etc/zookeeper/conf下

cp zookeeper /usr/local/
mkdir /etc/zookeeper
ln -s /usr/local/zookeeper/conf /etc/zookeeper/conf  #创建配置目录软链接

启动

/usr/local/zookeeper/bin/zkServer.sh start

然后就报错了，报错，很正常，但是你没有异常提示啊，日志也没生成你就给我来个FAILED TO START

修改了一下这个脚本，把启动命令的nohup去掉看看输出

报了Invalid config，但是检查了配置文件都没错，上网查了一下，又仔细看了官方文档发现这么一句

“You attribute the server id to each machine by creating a file named myid, one for each server, which resides in that server's data directory, as specified by the configuration file parameter dataDir.”

也就是说，需要在data目录下创建一个叫做myid的文件，这个文件里只有一个数字，就是配置文件里server.后面的编号

弄好之后，启动成功了，但是日志没有在我设置的目录下，还是在原来的.目录，因为bin/zkEnv.sh里面要加上ZOO_LOG_DIR变量

重启就可以了

二、安装HDFS

我用的是hadoop3.2.1版本，部署2nn+3dn+5jn，ha模式

下载hadoop3.2.1https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

解压，修改配置，注意配置中设计的各种目录，都新建一下，并把属主改为hdfs用户

改一下hadoop-env.sh，增加JAVA_HOME、HADOOP_CLASSPTH、日志目录

# 日志目录
export HADOOP_LOG_DIR=/var/log/hadoop/

# JAVA_HOME
export JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-1.el7_6.x86_64/jre"

# HADOOP_CLASSPATH
export HADOOP_HOME="/usr/local/hadoop-3.2.1"
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*:$HADOOP_HOME/share/hadoop/common/*:$HADOOP_HOME/share/hadoop/common/lib/*:$HADOOP_HOME/share/hadoop/yarn/*:$HADOOP_HOME/share/hadoop/yarn/lib/*:$HADOOP_HOME/share/hadoop/hdfs/*:$HADOOP_HOME/share/hadoop/hdfs/lib/*:/usr/lib/hadoop/lib/*

修改一下core-site.xml

<configuration>
  <!-- 文件系统 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ns</value>
  </property>
  
  <!-- zookeeper地址 -->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>IP1:2181,IP2:2181,IP3:2181,IP4:2181,IP5:2181</value>
  </property>
</configuration>

hdfs-site.xml，都是基础配置，没有涉及到参数调优

<configuration>
  <!-- hdfs管理员 -->
  <property>
    <name>dfs.permissions.superusergroup</name>
    <value>hdfs</value>
  </property>
  <property>
    <name>dfs.cluster.administrators</name>
    <value>hdfs</value>
  </property>
 
  <!-- namenode地址 -->
  <property>
    <name>dfs.nameservices</name>
    <value>ns</value>
   </property>
  <property>
    <name>dfs.ha.namenodes.ns</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns.nn1</name>
    <value>nnIP1:54310</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns.nn2</name>
    <value>nnIP2:54310</value>
  </property>
  <property>
    <name>dfs.namenode.servicerpc-address.ns.nn1</name>
    <value>nnIP1:53310</value>
  </property>
  <property>
    <name>dfs.namenode.servicerpc-address.ns.nn2</name>
    <value>nnIP2:53310</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns.nn1</name>
    <value>nnIP1:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns.nn2</name>
    <value>nnIP2:50070</value>
  </property>

  <!-- 高可用 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>shell(/bin/true)</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.ns</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    </value>
  </property>
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  
  <!-- journalnode地址 -->
  <property>
    <name>dfs.journalnode.rpc-address</name>
    <value>0.0.0.0:8485</value>
  </property>
  <property>
    <name>dfs.journalnode.http-address</name>
    <value>0.0.0.0:8480</value>
  </property>
  <property>
    <name>dfs.namenode.shared.edits.dir.ns</name>
    <value>qjournal://jnIP1:8485;jnIP2:8485;jnIP3:8485;jnIP4.ctc.local:8485;jnIP5:8485/ns</value>
  </property>

  <!-- journalnode相关 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/data01/hadoop/hdfs/journalnode</value>
    <final>true</final>
  </property>
  
  <!-- namenode相关 -->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data01/hadoop/hdfs/namenode,/data02/hadoop/hdfs/namenode</value>
    <final>true</final>
  </property>
  <property>
    <name>dfs.namenode.checkpoint.edits.dir</name>
    <value>${dfs.namenode.checkpoint.dir}</value>
  </property> 
  
  <!-- datanode相关 -->
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data03/hadoop/hdfs/datanode,/data04/hadoop/hdfs/datanode,/data05/hadoop/hdfs/datanode,/data06/hadoop/hdfs/datanode,/data07/hadoop/hdfs/datanode,/data08/hadoop/hdfs/datanode,/data09/hadoop/hdfs/datanode,/data10/hadoop/hdfs/datanode,/data11/hadoop/hdfs/datanode,/data12/hadoop/hdfs/datanode</value>
    <final>true</final>
  </property>
</configuration>

放到自己喜欢的目录，我是放到了/usr/local下面

创建hdfs用户用于运行

useradd -m /bin/false hdfs

两台nn之间需要做免密登陆，先生成ssh的公钥，再把自己的公钥拷贝到另外一台机器上就可以

在两台nn上生成一下密钥，切换到hdfs用户，选项都保持默认，回车即可

ssh-keygen -t rsa

成功的话，在hdfs用户的home目录下，就会出现.ssh文件夹

把第一台nn的.ssh/id_rsa.pub文件里的文本拷贝到第二台nn的.ssh/authorized_keys下，authorized_keys文件的权限必须为600

做好之后，第一台nn就可以免密登陆第二台nn了，再把第二台的密钥也拷贝到第一台上

互相ssh测试一下，通了就可以

首先启动5台jn

sudo -uhdfs /usr/local/hadoop-3.2.1/bin/hdfs --daemon start journalnode

在1台nn上格式化dfs

sudo -uhdfs /usr/local/hadoop-3.2.1/bin/hdfs namenode -format

启动nn和zkfc

sudo -uhdfs /usr/local/hadoop-3.2.1/bin/hdfs --daemon start namenode
sudo -uhdfs /usr/local/hadoop-3.2.1/bin/hdfs  zkfc -formatZK  #初始化zookeeper上节点
sudo -uhdfs /usr/local/hadoop-3.2.1/bin/hdfs --daemon start zkfc

看一下zkfc的日志，出现下面字样就是成功了

现在，要把第一台nn上的元数据文件同步到第二台nn上，在第2台nn上执行同步命令

sudo -uhdfs /usr/local/hadoop-3.2.1/bin/hdfs namenode -bootstrapStandby

然后启动第二台nn和zkfc

sudo -uhdfs /usr/local/hadoop-3.2.1/bin/hdfs --daemon start namenode
sudo -uhdfs /usr/local/hadoop-3.2.1/bin/hdfs --daemon start zkfc

zkfc日志出现下面字样证明成功

现在关掉active nn，测试一下切换

sudo -uhdfs /usr/local/hadoop-3.2.1/bin/hdfs --daemon stop namenode

通过50070端口的页面来确认是否切换成功

最后启动dn

sudo -uhdfs /usr/local/hadoop-3.2.1/bin/hdfs --daemon start datanode

三、安装hbase

使用hbase2.2.5版本，2master+3regionserver

修改conf/hbase-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>/data03/hbase/tmp</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://ns/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>IP1:2181,IP2:2181,IP3:2181,IP4:2181,IP5:2181</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/data02/zookeeper</value>
  </property>
</configuration>

conf/hbase.sh，增加JAVA_HOME和日志目录配置，关闭自带zookeeper

export HBASE_LOG_DIR=/var/log/hbase
export HBASE_MANAGES_ZK=false
export JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.191.b12-1.el7_6.x86_64/jre"

新建conf/backup-masters，写上所有master节点的名字，不能只写backup master，不然backup master挂了怎么切换回去呢

新建conf/egionservers，写上所有regionserver节点

2台master需要免密登陆regionserver，操作同hdfs里面的一样，生成master节点的key放到所有节点（主master到备份master也需要ssh免密的）就好了，注意，如果打算用新用户，比如hbase，就要切换到hbase用户重新生成key，做好免密之后ssh试一下

hbase需要hdfs-site.xml和core-site.xml才能访问hdfs，做一个软连接到hbase的配置目录下

ln -s /usr/local/hadoop-3.2.1/etc/hadoop/hdfs-site.xml /usr/local/hbase-2.2.5/conf/
ln -s /usr/local/hadoop-3.2.1/etc/hadoop/core-site.xml /usr/local/hbase-2.2.5/conf/

在hdfs上新建hbase的目录，并赋予权限

sudo -uhdfs /usr/local/hadoop-3.2.1/bin/hdfs dfs -mkdir /hbase 
sudo -uhdfs /usr/local/hadoop-3.2.1/bin/hdfs dfs -chown hbase /hbase #修改属主

启动，只要在主master上启动这个脚本，主master会通过ssh启动其他组件

sudo -uhbase /usr/local/hbase-2.2.5/bin/start-hbase.sh

16010端口打开web页面

测试一下备用master节点，关闭主节点

sudo -uhbase /usr/local/hbase-2.2.5/bin/hbase-daemon.sh stop master

查看备节点16010端口的页面，和上面的图一致，regionserver都正确，那就可以了

四、OpenTSDB安装

终于来到了最后一步

下载opentsdb的rpm包，我用的是2.3.2

https://github.com/OpenTSDB/opentsdb/releases/download/v2.3.2/opentsdb-2.3.2.noarch.rpm

在hbase上建立opentsdb需要的表，去https://github.com/OpenTSDB/opentsdb/blob/master/src/create_table.sh下载这个脚本，放到hbase机器上

export HBASE_HOME=/usr/local/hbase-2.2.5
export COMPRESSION=NONE
./create_table.sh

安装依赖

yum install -y gnuplot

安装rpm包

rpm -ivh opentsdb-2.3.2.noarch.rpm

修改配置文件/etc/opentsdb/opentsdb.conf

tsd.storage.hbase.zk_quorum设置为zk的地址，用逗号分隔

tsd.core.auto_create_metrics设置为true，这一点很重要，不然open-falcon发送来的数据不会自动新建指标，录不进去

增加用户opentsdb

useradd -m opentsdb

修改启动脚本/etc/init.d/opentsdb里面的用户，还可以修改日志目录、配置目录等

# Default program options
NAME=opentsdb
PROG=/usr/bin/tsdb
HOSTNAME=$(hostname --fqdn)
USER=opentsdb

 启动

service opentsdb start

4242端口查看web页面

五、连接Open-falcon

这一步很简单了，open-falcon transfer配置改一改，重启transfer即可

   "tsdb": {
        "enabled": true,
        "batch": 200,
        "connTimeout": 1000,
        "callTimeout": 5000,
        "maxConns": 32,
        "maxIdle": 32,
        "retry": 3,
        "address": "IP:4242"
    }

等一会儿，在opentsdb页面上就可以查看到open-falcon的监控数据了

阿团团
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
open-falcon opentsdb 部署
Terry Tsang
08-18 365
目的 部署 opentsdb 用于 open-falcon 存储 metric 信息 前期准备 组件 参考 zookeeper 部署方法 hapddop 部署方法 hbase 部署方法\ opentsdb 信息 OpenTSDB由一个时间序列守护程序（TSD）和一组命令行实用程序组成。 与 OpenTSDB 的交互主要通过运行一个或多个 tsd 来实现。 每个TSD都是独立的。 没有主服务器，也没有共享状态，所以您可以根据需要运行任意数量的tsd来处理向它抛出的任何负载。
open-falcon数据接入opentsdb
weixin_34184158的博客
12-14 641
2019独角兽企业重金招聘Python工程师标准>>> ...
open-falcon原理以及使用(不断更新)
Danielsm的博客
03-18 1万+
文章目录 概述 Open-falcon的特性 监控控范围 1）基础监控。 2）业务应用监控。 3）第三方开源软件监控。 一、设计原理 1.模块架构 2.模块拆解(模块配置项查看第三章) 　　part01：数据采集&上报 　　part02: 告警 　　part03：归档&绘图 　　part04：报警策略配置 4.执行过程 5.模块描述表 二、Web使用​​​​ 1.图表监控项目 Dashboard 使用 监控项解释（第三章第二节）
open-falcon监控系统简介
fishmai的专栏
07-03 2万+
背景 我们的监控系统open-falcon开源在即，需要在所有机器上部署falcon-agent采集机器硬件信息。我们内部使用一个自研工具frigga来管理各种agent，包括监控的agent、部署的agent、naming的agent等等，这个工具是ruby的，部署起来不是很方便，笔者最近花了一点时间用Go写了一个简化版的frigga，静态编译部署起来方便，专门用于管理升级监控agent，
小米发布的运维监控工具:open falcon
achejq的专栏
08-08 1万+
# Introduction 监控系统是整个运维环节，乃至整个产品生命周期中最重要的一环，事前及时预警发现故障，事后提供翔实的数据用于追查定位问题。监控系统作为一个成熟的运维产品，业界有很多开源的实现可供选择。当公司刚刚起步，业务规模较小，运维团队也刚刚建立的初期，选择一款开源的监控系统，是一个省时省力，效率最高的方案。之后，随着业务规模的持续快速增长，监控的对象也越来越多，越来越复杂，监控系统
CentOS7分布式部署open-falcon0.3.0实践.docx
07-31
Open-Falcon是一种开源的、企业级的、高可用、可扩展的监控系统，最早由小米云平台团队发起和开源，在2015年5月开源Beta版并正式命名为“Open-Falcon”，目前已经成为国内互联网公司使用最广泛的监控系统之一。...
CentOS-7-i386-Minimal-2009.iso
07-23
CentOS 7.9版本（CentOS-7-i386-NetInstall-2009）适用于i386 CentOS是免费的、开源的、可以重新分发的开源操作系统，CentOS（Community Enterprise Operating System，中文意思是社区企业操作系统）是Linux发行版...
CentOS-7-i386-NetInstall-2009.iso
07-23
CentOS 7.9版本（CentOS-7-i386-NetInstall-2009）适用于i386 CentOS是免费的、开源的、可以重新分发的开源操作系统，CentOS（Community Enterprise Operating System，中文意思是社区企业操作系统）是Linux发行版...
（CentOS7镜像）CentOS-7-x86-64-Minimal-2009.rar
09-06
【标题】"（CentOS7镜像）CentOS-7-x86-64-Minimal-2009.rar" 提供的是一个基于Linux发行版的CentOS 7的最小化安装镜像，适用于创建虚拟机环境。这个版本特别针对系统管理员和开发者设计，包含了运行操作系统最基本...
open-falcon安装V1.1.docx
11-11
Open-Falcon是一款开源的分布式监控系统，专为大规模集群环境设计，提供实时性能数据采集、处理、报警等功能。在本文中，我们将详细介绍如何在64位CentOS 6.4操作系统上安装并配置Open-Falcon V1.1。 **一、环境...
OpenTSDB2.3.0安装部署
ez scope
05-31 1万+
一、简介         OpenTSDB是基于HBase存储时间序列数据的一个开源数据库，但只是一个HBase的应用而已。也即是在HBase之上加了一层外壳，用于更好的处理时序数据库，真实的数据存储还是在HBase。          时序数据是基于时间的一系列的数据。在有时间的坐标中将这些数据点连成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性；往未来看可以做大数据分析，机器
小米开源监控系统Open-falcon部署笔记（上）
靖渊
07-31 2901
一.环境准备 操作系统：centos7.4  1.1 更换yum源 1.1.1 备份默认的yum文件 mv /etc/yum.repos.d /etc/yum.repos.d.bak 1.1.2 新建yum目录 mkdir /etc/yum.repos.d 1.1.3  配置阿里yum源 wget -O /etc/yum.repos.d/CentOS-Base.repo ht...
《open-falcon入门教程一》open-falcon介绍
我的博客
08-02 2万+
小米的监控系统：OpenFalcon是一款企业级、高可用、可扩展的开源监控解决方案。 一、特点 ①强大灵活的数据采集：自动发现，支持falcon-agent、snmp、支持用户主动push、用户自定义插件支持、opentsdb data model like（timestamp、endpoint、metric、key-value tags） ②水平扩展能力：支持每个周期上亿次的数据采集、告警...
简析运维监控系统及Open-Falcon
热门推荐
Java之旅
07-24 5万+
监控系统对系统正常运行的作用监控系统对系统正常运行的作用监控系统，可以从运营级别（基本配置即可），以及应用级别（二次开发，通过端口进行日志上报），对服务器、操作系统、中间件、应用进行全面的监控，及报警，对我们的系统正常运行的作用非常重要。 我所在的公司，在去年完成了从Zabbix到Open-Falcon的转换，有从小米过来的运维工程师的大力推动的影响，也是由于对于巨量的数据上报/统计，万+上报节点，Zabbix力不从心了，而Open-Falcon这方面更加强大，转换之后，感觉Open-Falcon使用的比较
Open falcon 监控系统各模块的说明
beta_xiyan的博客
08-21 1729
open falcon 监控系统目前有上百家互联网公司都在不同程度的使用，具有很多优点： 强大灵活的数据采集：自动发现，支持falcon-agent、snmp、支持用户主动push、用户自定义插件支持、opentsdb data model like（timestamp、endpoint、metric、key-value tags） 水平扩展能力：支持每个周期上亿次的数据采集、告警判定、历...
使用Grafana+OPENTSDB方式Export和Import图表
zheyuan_xing的博客
10-19 1705
根据Grafana官方文档和网上的一些教程，尝试了将一个制作好的dashboard导出，并且在需要时重新导入dashboard，但是其中碰到了一些问题，因此将自己的操作过程整理了一下。 1.Export Dashboard 此处省略一些Grafana的简介和如何创建自己的data source，详细的介绍可以参见Grafana官方文档。 有两种方法可以导出制作好的Dashboard的json文件。...
CentOS7安装Open-falcon
小白要上天
01-18 379
一、环境准备 操作系统：centos7（minimal，www.centos.org下载的包是CentOS-7-x86_64-Minimal-1804.iso） 1.1更换阿里yum(个人习惯) 步骤: 1)下载wget yum install -y wget 2)备份默认的yum mv /etc/yum.repos.d /etc/yum.repos.d.backup 3)设置新的yum目录 mkdir /etc/yum.repos.d 4)下载阿里yum配置到该目录中 wget -O /etc/yu
centos7安装简易的单机版open-falcon
运维打怪晋级之路
07-27 352
1、centos7安装单机版open-falcon yum安装redis ip 10.36.39.2 yum install -y redis #yum安装 vi /etc/redis.conf #修改配置文件添加 bind 0.0.0.0 redis-server & #后台启动redis yum安装mysql5.7 wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm rpm -ivh mysql-com
centos7安装 open-vm-tools
最新发布
09-12
CentOS 7安装open-vm-tools的步骤如下： 1. 首先，确认你的CentOS 7系统已经启动，并登录到虚拟机内。 2. 打开终端，并使用root权限登录。 3. 运行以下命令更新系统软件包列表： ``` yum update ``` 4. 运行以下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值