hmf-tsdb 快速入门

环境要求

  1. jdk8 或以上版本
  2. mongodb3.4 或以上版本
  3. kafka2.2.0 或以上版本

上述软件 如果没有的话,请先安装。其中kafka 和 mongodb 均可以安装在别的机器上,也可以安装在本机。

下载

下载 hmf-tsdb 到本地,然后解压缩。

修改配置文件

打开hmf-tsdb的解压目录,用文本编辑器打开文件application.properties。找到下面两行:

mongo.connStr = mongodb://127.0.0.1:27017

mongo.dbName = tsdb2

然后根据自己安装的mongodb来修改mongo.connStr。mongo.dbName可以不改,程序运行后会自动根据mongo.dbName的值在mongodb中创建相应的数据库。

找到下面这几行:

#kafka consumer

kafka.consumer.bootstrap-servers = 127.0.0.1:9092

kafka.consumer.topic = tsdb-dps

kafka.consumer.group-id = tsdb-store

kafka.consumer.thread.size = 2

根据您安装的kafka服务器,对此处配置进行修改。假如你完全按照默认参数在本地部署的kafka,则无需修改。

运行

  1. 启动Mongodb,略
  2. 启动Kafka自带的zookeeper,略
  3. 启动Kafka,略
  4. 启动hmf-tsdb: 在hmf-tsdb目录,执行 start.cmd(windows)或者start.sh(linux),便可启动hmf-tsdb。然后打开浏览器,访问 http://localhost:8080/query.html , 如果浏览器能顺利打开下面的界面,说明我们运行成功。 查询界面

产生模拟数据

虽然我们已经运行了hmf-tsdb,但我们看不到任何有趣的效果。接下来,我们需要一个模拟器,向kafka推送数据。hmf-tsdb会主动从kafka服务器pull数据,并保存到mongodb中。hmf-tsdb通过内存缓存、磁盘快照存储、磁盘归档存储等各种策略,提供了单机50万 时序数据的写入能力,并可以实时查询各个测点的趋势图。

下载 dps-producer-demo(该模拟器默认每秒钟生成1万时序数据),修改配置文件:

  1. 指定kafka地址: bootstrap.servers = 127.0.0.1:9092

  2. 指定模拟的区域数量、每个区域设备数量、每个设备测点(在有些行业成为指标)量。

area.amount = 10

device.amount = 50

metric.amount = 20

默认情况下 区域数量 设备数量 测点数据=10000。当你不甚了解hmf-tsdb的时候,暂且不要修改这些参数。当测点总量增加的时候,对运行环境会有各种要求:内存、cpu、mongodb的配置等

然后 运行dps-producer-demo目录中的start.cmd或者start.sh。

查询时序数据

现在我们还不了解hmf-tsdb的表达式语法,你暂且直接在query.html的界面中输入:

current{area='area_1',device='device_1'} last[1h]

然后点击“查询”按钮。浏览器就能显示出 最近 1小时内,位置在 ‘area_1’,且设备编号为'device_1'的电流采样值的历史曲线。如下图所示: 查询

如何向hmf-tsdb写入你自己的时序数据

假如你熟悉kafka的这,向hmf-tsdb写入实时数据是一件非常简单的事情:

创建一个kafka producer,然后用producer向kafka服务器 推送时序数据即可。时序数据 以 json格式的字符串来表示,通常是这个样子的:

{"metric":"current","tags":{"area":"area_1","device":"device_1"},"time":1555137083702,"value":50.47901}

其中metric属性是测点名称,tags是其他一些查询和分析需要用到的标签,time是采样时间,value是采样值。tags的内容可以根据应用的需要定制各种不同的tag,而metric,time,value这三个属性是必须的,不可以改动属性名称。

接下来,启动你的hmf-tsdb,就能够从kafka接收并存储时序数据了。

备注:hmf-tsdb提供了直接写入时序数据的api,你的应用 可以不经kafka直接写入hmf-tsdb。但是,我强烈地不建议你这么做。

  1. 因为这种强耦合的架构和部署,会给后来的架构调整或者运维带来诸多不便。假如:你运行hmf-tsdb的服务器磁盘不够 ,需要停机增加磁盘,那么直接写入的这种架构就会在hmf-tsdb停机期间丢失一部分数据。但假如你是经过Kafka写入hmf-tsdb的话,暂停hmf-tsdb不会导致你时序数据的丢失。

  2. 经由kafka写入hmf-tsdb的架构下,kafka还能起到一个削峰填谷的作用,使系统运行更加平滑流畅,不会因为瞬时的使用高峰(比如突然很多人来查询历史数据),导致系统卡顿甚至数据丢失。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值