OpenTSDB存储Hbase原理

最新推荐文章于 2024-05-31 14:31:52 发布
最新推荐文章于 2024-05-31 14:31:52 发布
阅读量434 收藏
点赞数
分类专栏： OpenTSDB 文章标签： hbase 数据库 opentsdb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_23225111/article/details/125226829
版权
本文介绍了OpenTSDB如何在Hbase中创建四张表，主要使用tsdb和tsdb-uid两张表来存储时间戳和值以及指标和标签的唯一UID。tsdb-uid表存储了正向和反向的UID映射，tsdb表的rowkey由salt、指标UID、时间戳的小时维度ASCII、标签的key和value的UID组成，而Qualifier列名则表示时间戳的分钟和秒。
摘要由CSDN通过智能技术生成

OpenTSDB在部署的时候会执行create_table.sh这个初始化脚本，这个脚本的作用是在Hbase中创建4张表

这4张表，OpenTSDB主要使用其中的2张表

tsdb：存储插入数据的时间戳和值，rowkey为TSUID(插入数据指标UID+插入数据部分时间+标签UID)

TSUID详细解释见OpenTSDB的TSUID_一杯咖啡半杯糖的博客-CSDN博客

tsdb-uid：存储指标、标签，并为指标和标签成为唯一的UID

UID详细解释见OpenTSDB 的UID_一杯咖啡半杯糖的博客-CSDN博客

<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一杯咖啡半杯糖
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
OpenTSDB时序数据库原理分析
程序员光剑
09-07 126
作者：禅与计算机程序设计艺术 1.简介 （1）什么是OpenTSDB？ OpenTSDB（开放时间序列数据库）是一个基于HBase的时间序列数据库系统。它最初由LinkedIn开发，后来被Apache基金会收购。其主要功能包括对时序数据进行存储
opentsdb在Hbase的存储结构
hyy_blue的博客
11-09 1773
1、opentsdb介绍 opentsdb是基于Hbase的分布式、可伸缩的时间序列数据库。 主要用途： 就是做监控系统 提供最高毫秒级精度的时间序列数据存储，能够长久保存原始数据并且不失精度 提供很强的写入能力，支持大并发的数据写入。 opentsdb 的简介就不过多的介绍。 2、OpenTSDB存储相关的概念 在opentsdb中存储的结构是以下面的结构写入的： { "metric": "单位的名字", "timestamp": db.TIME, "value":
HBase和OpenTSDB在华为的实战.pdf
08-29
HBase 和 OpenTSDB 在华为的实战
OpenTSDB的数据存储详解
duzm200542901104的专栏
02-24 3102
随着互联网、尤其是物联网的发展，我们需要把各种类型的终端实时监测、检查与分析设备所采集、产生的数据记录下来，在有时间的坐标中将这些数据连点成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性;往未来看可以做大数据分析，机器学习，实现预测和预警。 这些数据的典型特点是：产生频率快（每一个监测点一秒钟内可产生多条数据）、严重依赖于采集时间（每一条数据均要求对应唯一的时间）、测点多信息...
openTSDB详解之底层HBase表分析
说文科技，做有态度的研究。
11-06 1019
openTSDB详解之底层HBase表分析 【Updating】 查看hbase的表负载情况 hbase(main):001:0&gt; status 1 active master, 0 backup masters, 3 servers, 0 dead, 2.3333 average load 列出表名 hbase(main):002:0&gt; list TABLE ...
OpenTSDB基础概念、HBase的介绍
zx711166的博客
06-18 3413
1、OpenTSDB的基础概念 2、HBase的逻辑存储、物理存储 3、HBase的组件及其工作过程
OpenTSDB介绍——基于Hbase的分布式的，可伸缩的时间序列数据库，而Hbase本质是列存储
CODE男孩的博客
05-16 5342
OpenTSDB介绍1.1、OpenTSDB是什么？主要用途是什么？官方文档这样描述：OpenTSDB is a distributed, scalable Time Series Database (TSDB) written on top of HBase；翻译过来就是，基于Hbase的分布式的，可伸缩的时间序列数据库。主要用途，就是做监控系统；譬如收集大规模集群（包括网络设备、操作系统、应用...
HBase原理与代码实例讲解
最新发布
程序员光剑
05-31 428
HBase原理与代码实例讲解 1.背景介绍 1.1 大数据时代的数据存储挑战 在当今大数据时代,海量数据的存储和处理已成为各行各业面临的重大挑战。传统的关系型数据库在面对TB、PB级别的海量数据时,无论是在存储容量还是查询性能上都难以满
《HBase原理与实践》阅读笔记（二）
TNTZS666的博客
02-04 1009
学习笔记（4-6章）1.Hbase客户端1.1.定位Meta表1.1.1.解决热点Region问题1.2.Hbase常见超时参数2.RegionServer核心模块2.1.内部结构2.1.1.HLog2.1.2.MemStore2.1.3.HFile3.Hbase读写流程3.1.Hbase写入流程3.1.1.少量写和批量写3.1.2.MemStore Flush触发条件3.2.Hbase读取流程4...
基于 HBase 安装 OpenTSDB 单机环境
12-26
CentOS安装基于 HBase 安装 OpenTSDB时序数据库安装文档
hbase+opentsdb+grafana视图展现
08-16
自己写的文档，根据自己的实践经验编写，实现hbase+opentsdb+grafana视图展现
OpenTSDB使用
TU_JCN的博客
08-17 1996
一、OpenTSDB原理 ​ 随着互联网、尤其是物联网的发展，我们需要把各种类型的终端实时监测、检查与分析设备所采集、产生的数据记录下来，在有时间的坐标中将这些数据连点成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性;往未来看可以做大数据分析，机器学习，实现预测和预警。 ​ 这些数据的典型特点是：产生频率快（每一个监测点一秒钟内可产生多条数据）、严重依赖于采集时间（每一条数据均要求对应唯一的时间）、测点多信息量大（实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的
OpenTSDB在HBase中的底层数据结构设计
weixin_30627341的博客
09-06 195
0.时序数据库 时间序列（Time Series）：是一组按照时间发生先后顺序进行排列的数据点序列，通常一组时间序列的时间间隔为一恒定值（如1秒，5分钟，1小时等）。 时间序列数据可被简称为时序数据。实时监控系统所收集的监控指标数据，通常就是时序数据 。时序数据具有如下特点： 每一个时间序列通常为某一固定类型的数值 数据按一定的时间间隔持续产生，每条数据拥有自己的时间戳信息 ...
OpenTSDB原理概述
shaojie668的专栏
04-10 1129
How does OpenTSDB work? OpenTSDB是怎么工作的？ OpenTSDB requires you to run one or more Time Series Daemons (TSDs). Each TSD is independent. There is no master, no shared state. The TSD uses HBase to store a
HBase (1): OpenTSDB Table Design
只为曾经的执着
05-01 264
OpenTSDB rowkey 设计
基于CentOS 7 的OpenTSDB部署与使用——HBase的安装
zx711166的博客
06-21 2222
OpenTSDB 是基于 HBase 存储时间序列数据的一个开源数据库，对于存储监控系统采集的数据来说非常合适，不仅在写入查询上有很高的效率，而且节省存储空间。 安装HBase 因为 OpenTSDB 的后端存储使用的是 HBase，所以我们需要先安装 HBase。 参考文档： Quick Start - Standalone HBase 这里简单搭建了一个单机的 HBase 环境： ...
CentOS 7 的OpenTSDB部署与使用——HBase的安装
北漂码农的博客
11-25 8901
       时序数据库OpenTSDB 是基于 HBase 存储时间序列数据的一个开源数据库，对于存储监控系统采集的数据来说非常合适，不仅在写入查询上有很高的效率，而且节省存储空间。 一、安装HBase         因为 OpenTSDB 的后端存储使用的是 HBase，所以我们需要先安装 HBase。              这里简单搭建了一个单机的 HBase 环境：      ...
openTSDB详解之HBase Schema
说文科技，做有态度的研究。
08-22 1984
openTSDB详解之HBase Schema Data Table Schema 默认情况下，所有的openTSDB数据点被存储在单个，大表中，这个大表的名字是tsdb。这将利用HBase的顺序以及分区功能。所有的值被存储在叫做t的列族中。 Row key——Row keys是字节数组由optional salt，metrics UID，一个基础的时间戳，以及tagk/v 对的UID 组成...
HBase在OpenTSDB与GIS中的应用解析
在OpenTSDB中，HBase用于解决大规模时间序列数据的存储问题；在GIS中，HBase能够有效地处理延迟问题和空间位置建模，特别适合于基于位置服务的应用。文章详细探讨了HBase在GIS中的应用，尤其是如何利用GeoHash算法...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯咖啡半杯糖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值