时序数据库
文章平均质量分 60
天地不仁以万物为刍狗
天之道,损有余而补不足
人之道,损不足以奉有馀
展开
-
Mark 范爷作品 :时序数据库(TSDB)-为万物互联插上一双翅膀
转:http://hbasefly.com/2017/11/19/timeseries-database-1/时序数据库(TSDB)是一种特定类型的数据库,主要用来存储时序数据。随着5G技术的不断成熟,物联网技术将会使得万物互联。物联网时代之前只有手机、电脑可以联网,以后所有设备都会联网,这些设备每时每刻都会吐出大量的按照时间组织的数据,需要存储下来进行查询、统计和分析。时序数据和普通的业务数...转载 2019-04-10 15:57:49 · 256 阅读 · 0 评论 -
Uber 时序数据库M3DB初探
Uber时序数据库M3DB初探Uber M3是一个已在优步使用多年的指标平台。M3 可以在较长的保留时间内可靠地存储大规模指标。本篇文章抛砖引玉,带大家了解一下M3DB,同时M3也可以做为Prometheus后端存储,旨在为Prometheus指标提供安全,可扩展且可配置的多租户的存储。组件介绍M3 CoordinatorM3 Coordinator 是一...转载 2019-06-04 00:12:54 · 1346 阅读 · 0 评论 -
解密OpenTSDB的表存储优化
摘要OpenTSDB是一个分布式的、可伸缩的时间序列数据库,在DB-engines的时间序列数据库排行榜上排名第五。它的特点是能够提供最高毫秒级精度的时间序列数据存储,能够长久保存原始数据并且不失精度。它拥有很强的数据写入能力,支持大并发的数据写入,并且拥有可无限水平扩展的存储容量。 它的强大的数据写入能力与存储能力得益于它底层依赖的HBase数据库,也得益于它在表结构设计...转载 2019-06-04 00:14:34 · 391 阅读 · 0 评论 -
基于阿里云HBase搭建OpenTSDB
OpenTSDB是一个基于HBase的分布式、可伸缩的开源时序数据库。OpenTSDB由TSD(Time Series Daemon)和一系列命令行工具组成。TSD用于接收用户请求并将时序数据存储在HBase中。TSD之间是相互独立的,没有master,也没有共享状态,因此可以根据系统的负载情况任意进行扩展。下图是一个基于OpenTSDB的监控系统架构图(来自官方文档):本文介绍如何在阿里云H...转载 2019-06-04 00:17:07 · 316 阅读 · 0 评论 -
时序列数据库武斗大会之 OpenTSDB 篇
什么是 OpenTSDBOpenTSDB ,可以认为是一个时系列数据(库),它基于HBase存储数据,充分发挥了HBase的分布式列存储特性,支持数百万每秒的读写,它的特点就是容易扩展,灵活的tag机制。架构简介这里我们简单看一下它的架构,如下图所示:其最主要的部件就是TSD了,这是接收数据并存储到HBase处理的核心所在。而带有C(collector)标志的Server,则是...转载 2019-06-04 00:18:12 · 182 阅读 · 1 评论 -
云HBase之OpenTSDB时序引擎压缩优化
摘要:在中国HBase技术社区第十届meetup--HBase生态实践 (杭州站)上,阿里云技术专家郭泽晖为大家介绍了云HBase之时序引擎OpenTSDB的介绍及压缩优化,向大家展示了使用OpenTSDB所遇到的一些问题及优化方案,并对云OpenTSDB的集中使用模式进行了相应的介绍。本文根据演讲视频以及PPT整理而成。本文将主要围绕以下四个方面进行分享:OpenTSDB的介绍 O...转载 2019-06-04 00:19:05 · 399 阅读 · 0 评论 -
时间序列数据的存储和计算 - 开源时序数据库解析(一) OpenTSDB
开源时序数据库 如图是17年6月在db-engines上时序数据库的排名,我会挑选开源的、分布式的时序数据库做详细的解析。前十的排名中,RRD是一个老牌的单机存储引擎,Graphite底层是Whisper,可以认为是一个优化的更强大的RRD数据库。kdb+、eXtremeDB和Axibase都未开源,不做解析。InfluxDB开源版和Prometheus的底层都是基于levelDB自研的...转载 2019-06-04 00:20:59 · 1756 阅读 · 0 评论 -
All Things OpenTSDB
1. OpenTSDB介绍OpenTSDB用HBase存储所有的时序(无须采样)来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics,支持永久存储,可以做容量规划,并很容易的接入到现有的报警系统里。OpenTSDB可以从大规模的集群(包括集群中的网络设备、操作系统、应用程序)中获取相应的metrics并进行存储、索引以及服务,从而使得这些数据更容易让人理解,如web化...转载 2019-06-04 00:21:50 · 129 阅读 · 0 评论 -
表格存储最佳实践:一种用于存储时间序列数据的表结构设计
在表格存储的数据模型这篇文章中提到:在表格存储内部,一个表在创建的时候需要定义主键,主键会由多列组成,我们会选择主键的第一列作为分片键。当表的大小逐渐增大后,表会分裂,由原来的一个分区自动分裂成多个分区。触发分裂的因素会有很多,其中一个很关键的因素就是数据量。分裂后,每个分区会负责某个独立的分片键范围,每个分区管理的分片键范围都是无重合的,且范围是连续的。在后端会根据写入数据行的分片键的范围,...转载 2019-06-04 00:22:50 · 633 阅读 · 0 评论 -
OpenTSDB介绍
1、背景一些老的监控系统,它常常会出现这样的问题:1)中心化数据存储进而导致单点故障。2)有限的存储空间。3)数据会因为时间问题而变得不准确。4)不易于定制图形。5)不能扩展采集数据点到100亿级别。6)不能扩展metrics到K级别。7)不支持秒级别的数据。OpenTSDB解决上面的问题:1、它用hbase存储所有的时序(无须采样)来构建一个分布式、可伸缩...转载 2019-06-04 00:24:50 · 173 阅读 · 0 评论 -
OpenTSDB原理系列:元数据模型
本文作为介绍OpenTSDB原理系列文章的第一篇,主要介绍了时序数据以及OpenTSDB的一些基础概念,以及OpenTSDB中的元数据模型定义。什么是时序数据?Wiki中关于”时间序列(Time Series)“的定义:时间序列(Time Series)是一组按照时间发生先后顺序进行排列的数据点序列,通常一组时间序列的时间间隔为一恒定值(如1秒,5分钟,1小时等)。时间序列...转载 2019-06-05 10:00:58 · 524 阅读 · 0 评论 -
OpenTSDB原理系列:数据表设计
上一篇文章《OpenTSDB原理系列:元数据模型》讲到了OpenTSDB的基础概念,以及元数据模型,这篇文章介绍OpenTSDB的HBase数据表设计。OpenTSDB共涉及两种类型的数据:Metrics数据以及Annotation(注释)数据,在将这些数据存到HBase表中时,针对RowKey, Qualifier以及Value信息都做了特殊设计,从而使得存储更加高效。Metrics Row...转载 2019-06-05 10:01:35 · 297 阅读 · 0 评论 -
OpenTSDB分布式集群安装
1安装前提 确保安装了jdk确 安装了hbase的集群192.168.100.200master(zk、namenode、resourcemanager、HMaster、TSDMain)192.168.100.201slave1(zk、datanode、nodemanager、HRegionServer、TSDMain...转载 2019-07-25 14:08:42 · 1920 阅读 · 1 评论 -
OpenTSDB Stats - OpenTSDB 统计信息
Stats 统计OpenTSDB offers a number of metrics about its performance, accessible via various API endpoints. The main stats are accessible from the GUI via the "Stats" tab, from the Http API at/api/s...翻译 2019-06-05 16:06:06 · 720 阅读 · 0 评论 -
解密OpenTSDB的表存储优化
摘要OpenTSDB是一个分布式的、可伸缩的时间序列数据库,在DB-engines的时间序列数据库排行榜上排名第五。它的特点是能够提供最高毫秒级精度的时间序列数据存储,能够长久保存原始数据并且不失精度。它拥有很强的数据写入能力,支持大并发的数据写入,并且拥有可无限水平扩展的存储容量。 它的强大的数据写入能力与存储能力得益于它底层依赖的HBase数据库,也得益于它在表结构设计...转载 2019-07-25 14:08:55 · 268 阅读 · 0 评论 -
openTSDB详解之Configuration
【译】openTSDB详解之Configuration本文译自:http://opentsdb.net/docs/build/html/user_guide/configuration.html1.ConfigurationopenTSDB能够通过一个本地文件系统的文件、通过一个命令行参数或者是两者结合来配置。1.1 Configuration File配置文件符合java 属...转载 2019-07-25 14:09:10 · 139 阅读 · 0 评论 -
阿里云TSDB在大数据集群监控中的方案与实战
目前大部分的互联网企业基本上都有搭建自己的大数据集群,为了能更好让我们的大数据集群更加高效安全的工作,一个优秀的监控方案是必不可少的;所以今天给大家带来的这篇文章就是讲阿里云TSDB在上海某大型互联网企业中的大数据集群监控方案中的实战案例,希望能为感兴趣的同学提供一些帮助。背景和需求阿里云时序时空数据库 (原阿里云时间序列数据库, 简称 TSDB) 是一种高性能,低成本,稳定可靠的在线时序...转载 2019-06-04 00:10:09 · 328 阅读 · 0 评论 -
时序数据库技术和架构演进
本文根据演讲视频以及PPT整理而成。本文将主要围绕以下四个方面进行分享:时序数据与时序数据库 时序数据库的演变 时序数据库对比 总结一、时序数据与时序数据库什么是时序数据库?按照维基百科解释,时间序列数据库(TSDB)是一个为了用于处理时间序列数据而优化的软件系统,其按时间数值或时间范围进行索引。时序数据库增长趋势时序数据库从2014年开始就被DB-Engine列入了...转载 2019-06-04 00:09:34 · 2137 阅读 · 0 评论 -
Mark Ali : 零距离接触阿里云时序时空数据库TSDB
转:https://yq.aliyun.com/articles/679428?spm=5176.149792.775960.tec-tsdb.156a34e20W6NpL概述最近,Amazon新推出了完全托管的时间序列数据库Timestream,可见,各大厂商对未来时间序列数据库的重视与日俱增。阿里云TSDB是阿里巴巴集团数据库事业部研发的一款高性能分布式时序时空数据库,在即将过去的2...转载 2019-04-11 13:48:49 · 439 阅读 · 0 评论 -
Mark : 饿了么 Influxdb 实践之路
转 :https://studygolang.com/articles/10120前言Influxdb是一个基于golang编写,没有额外依赖的开源时序数据库,用于记录metrics、events,进行数据分析。这篇文章谈论的influxdb版本在1.2.0以上。这篇文章只谈论influxdb在监控中的数据存储应用,不会谈论influxdb提供的整套监控方案。本文主要谈论五个方面:时序...转载 2019-04-11 13:43:17 · 1177 阅读 · 0 评论 -
时序数据库 - 十分钟看懂时序数据库(I)-存储
原文地址:https://yq.aliyun.com/articles/202551?spm=5176.10695662.1996646101.searchclickresult.7ce551cb7a7dkx2017年时序数据库忽然火了起来。开年2月Facebook开源了beringei时序数据库;到了4月基于PostgreSQL打造的时序数据库TimeScaleDB也开源了,而早在2016年...转载 2019-04-11 15:41:11 · 896 阅读 · 0 评论 -
时序数据库 - 十分钟看懂时序数据库II——预处理 (空间换时间)
转:https://yq.aliyun.com/articles/202334?spm=5176.10695662.1996646101.searchclickresult.7ce551cb7a7dkx物联网领域近期如火如荼,互联网和传统公司争相布局物联网。作为物联网领域数据存储的首选,时序数据库也越来越多进入人们的视野。早在2016年7月,百度云在其天工物联网平台上发布了国内首个多租户的分布...转载 2019-04-11 15:42:02 · 820 阅读 · 0 评论 -
时序数据库 - 十分钟看懂时序数据库(III)- 压缩 (时间和空间的转换 - 简称时空转换)
压缩的本质:用计算时间换取存储空间转 :https://yq.aliyun.com/articles/198640?spm=5176.10695662.1996646101.searchclickresult.7ce551cb7a7dkx物联网邻域近期如火如荼,互联网和传统公司争相布局物联网。作为物联网邻域数据存储的首选时序数据库也越来越多进入人们的视野,而早在2016年7月,百度...转载 2019-04-11 15:43:45 · 738 阅读 · 0 评论 -
时序数据库 - 十分钟看懂时序数据库(IV)- 分级存储
转:http://www.ciotimes.com/IT/130218.html物联网领域近期如火如荼,互联网和传统公司争相布局物联网。作为物联网领域数据存储的首选,时序数据库也越来越多进入人们的视野,而早在2016年7月,百度云在其天工物联网平台上发布了国内首个多租户的分布式时序数据库产品TSDB,成为支持其发展制造,交通,能源,智慧城市等产业领域的核心产品,同时也成为百度战略发展产业物联网...转载 2019-04-11 15:45:02 · 580 阅读 · 0 评论 -
OpenTSDB原理系列:线程模型
OpenTSDB原理系列:线程模型前面两篇文章介绍了 OpenTSDB的元数据模型以及数据表定义,这篇文章介绍OpenTSDB的线程模型,主要是处理HTTP请求的线程池以及负责HBase响应的线程池。HTTP请求处理线程池OpenTSDB启动时,会创建一个Netty服务端(默认端口为4242),以接收OpenTSDB服务端发送过来的HTTP请求。Netty的服务端实现包括了一个B...转载 2019-06-05 10:02:15 · 376 阅读 · 0 评论 -
OpenTSDB原理系列:读取流程
OpenTSDB原理系列:读取流程一个完整的OpenTSDB HTTP Query请求,分别由OpenTSDB I/O Thread和AsyncHBase I/O Thread完成。OpenTSDB I/O Thread线程负责处理HTTP Query请求,AsyncHBase I/O Thread负责处理HBase的响应并发送HTTP响应。请求处理流程1.OpenTSDB ...转载 2019-06-05 10:03:48 · 756 阅读 · 0 评论 -
快速理解OpenTSDB的Schema设计
快速理解OpenTSDB的Schema设计在时序数据库中,Time Series是一个基础概念。我们先来看看Wiki中关于Time Series的定义:Time Series是一组按照时间发生先后顺序进行排列的数据点序列。通常一组时间序列的时间间隔为一恒定值(如1秒,5分钟,1小时等)。我们可以这样命名一个Time Series:webserver01.sys.cpu.0.us...转载 2019-06-05 10:04:31 · 245 阅读 · 0 评论 -
如何合理的设计HBase RowKey?
今天分享的内容主要是HBase RowKey与索引设计相关的一些技巧、原则和相关案例。内容包含四个部分:HBase基础原理速览;探讨合理的需求调研方法;RowKey与索引设计的常见技巧、原则;关于OpenTSDB/JanusGraph/GeoMesa典型案例的设计分析。1.HBase基础第一部分包括基础概念与数据模型介绍、快速浏览读写流程、介绍RowKey在读写流程中发挥的作用。首先是...转载 2019-06-05 10:05:34 · 1807 阅读 · 1 评论 -
OpenTSDB 查询介绍
其实这种转载我也不想做,但是这篇确实是opentsdb查询的核心内容,但这篇文章也有一定的坑。也是我把它设置为基础知识和UI操作的原因:因为这里面的查询的一些设定方式和http api的结构和内容有些差异,容易造成误导,比如我就遇到一件这样的事:同事:UI上面不是有查时间端存储的信息条数,你使用下http api的查询查询下,应该很简单的。我:OK,两个小时做完。 ...转载 2019-06-06 09:01:49 · 589 阅读 · 0 评论 -
OpeTSDB的Configuration配置
Configuration可以通过本地系统上的文件,命令行参数或组合或两者来配置OpenTSDB。配置文件配置文件符合Java属性规范。配置名称是小写的,没有空格的虚线字符String。每个名称后跟一个等号,然后是属性的值。所有OpenTSDB属性都以tsd.注释开始,或者非活动配置行被哈希符号阻止#。例如:# List of Zookeeper hosts that manag...转载 2019-06-06 11:48:47 · 486 阅读 · 0 评论 -
时序数据库
文章总结的很好,Mark一下,以备不时之需【引言】时序数据库,又名时间序列数据库。时序数据库会成为新趋势。时序数据库(Time Series Database)是用于存储和管理时间序列数据的专业化数据库,为时间序列数据提供高性能读写和强计算能力的分布式云端数据库服务。时序数据库特别适用于物联网设备监控和互联网业务监控场景。【简介】时序数据库全称为时间序列数据库。存储时间序列数据...转载 2019-06-06 14:29:43 · 5217 阅读 · 0 评论 -
jmxtrans+influxdb+granafa监控hbase
目前监控hadoop集群的主要工具有ganglia,nagios,zabbix等。其中ganglia最方便,hadoop中有自带jmx接口,启用了就行,但使用默认的监控方式,监控服务器磁盘会吃不消,并产生大量数据,故需要进行过滤(支持正则表达式),能过滤大量无用信息,但效果没有想象的好,个人觉得主要原因在于ganglia默认界面太丑,重复图片过多,一个监控项有四个图,占位置,且默认使用rrd数据库...转载 2019-06-06 16:09:21 · 582 阅读 · 0 评论 -
openTSDB详解之Stats
openTSDB详解之StatsStats关于openTSDB的性能,openTSDB提供许多metrics,通过各种API端可以访问得到。在GUI中可以通过Stats选项卡【如下图1示】,访问主要的stats,来自于HTTP API/api/stats或者是遗留的API/stats。为了从CLI中拉取数据,Telnet风格的API同样支持“stats”命令。【在你喜欢的任何时间间隔里...翻译 2019-07-25 14:09:14 · 201 阅读 · 0 评论