时序数据库
文章平均质量分 81
七七侠
从事分布式存储、大数据、云计算、虚拟化、 Linux 操作系统内核等研发工作
展开
-
物联网(IOT) 数据库需求和当前技术解析
物联网是当前最具发展潜力的技术潮流,到2020年全球将有200亿—2000亿物联网设备(Gartner 预测260亿,ABI预测300亿,Oracle 预测500亿,Intel 预测2000亿)。 管理众多的联网设备产生的(动态)数据,相比管理传统档案(静态)数据要复杂很多 —— 最重要的难点是“数据量”大幅提升和“处理实时性”要求显著加强。数据量:数据量提升包含数据总量和数据产生原创 2015-03-26 15:35:51 · 11492 阅读 · 1 评论 -
Hummer Time Series DB 数据存储模型
支持定长/变长/可空字字段 - 对于变长和定长字段采用不同的存储结构,最大程度降低存储空间和解析代价;同时稀疏记录中大量空字段进行特别优化处理,避免空字段占用额外存储空间,从而大大节省了稀疏记录的存储空间多种排序格式 - 时序数据处理的主要特征 : 时间断面(区间)上进行精确、模糊、条件检索 —— 例如 : 查找国庆期间查询给定嫌疑人通讯踪迹(精原创 2015-03-26 18:51:56 · 4903 阅读 · 0 评论 -
Hummer TimeSeries DB 技术特色简介
容量和性能相关特性: 支持海量数据存储(分布式下可轻松应对百亿至万亿记录) 支持高速数据写入(单节点可达10M条记录/秒,集群性能线性提升) 支持高速检索(单节点每秒可扫描20M条记录/秒,集群性能线性提升)架构相关特性: 存储层使用 Share Nothing 架构 ,确保系统的高可扩展性。 查询层使用 MP原创 2015-03-26 18:51:08 · 4808 阅读 · 0 评论 -
Hummer TimeSeries DB 优势功能(操作)介绍
Hummer TimeSeries DB 针对时序数据存储和查询进行了特色优化,尤其适合时序数据高速写入、按时段(以及key)进行快速查询、数据量估算、数据快速删除 。 接下来来我们就查询优势场景进行简要介绍(我们已Demo 中tpass表为例说明——该表时间跨度1年、pkt 格式)。给定时段查询按时间范围查询会利用到时序引擎数序按时间排序优势 —— 数据按原创 2015-03-26 18:46:54 · 4848 阅读 · 0 评论 -
Hummer TimeSeries DB (蜂鸟时序数据库)技术介绍
Hummer TimeSeries DB (蜂鸟时序数据库)技术介绍1. 背景介绍 不知不觉中,我们已经跨入“大数据”时代,而大数据的主要来源是来自于各种“传感器”所产生的时序数据记录。这些时序数据不但数量越积越多、而且频率也越来越快,但传统数据库对于这种数目庞大、更新频繁的时序数据,无论存储或检索都难以应对(“存不下”、“查不出”)。因此工业界当前迫切需要一种面向时序数据特征而原创 2015-03-26 18:44:36 · 18590 阅读 · 10 评论 -
Hummer TimeSeries DB 技术架构介绍
Hummer Timeseries DB 系统架构主要特点有:A. Hummer Timeseries DB 系统采用分层模块化设计,各层之间和各模块之间属松耦合关系。分层结构利于既各功能层独立演化,且容易代码维护;另外在使用部署时根据场景需要进行取舍。B. 与优秀开源软件实现对接,既避免了再造轮子(比如使用改造impala作为并行查询层、使用zabbix 作为系统监控层)的麻烦,原创 2015-03-26 18:48:21 · 5357 阅读 · 0 评论 -
Hummer TimeSeries DB 安装过程图例介绍
分布式系统安装总是令人头疼,为此Hummer TimeSeries DB 专门开发了自动基于WEB的安装引导程序,帮助用户已快速简便进行分布式部署、配置。 本文将给出操作步骤和图例 —— 安装环境为三台centos 6.5 系统虚拟机(ip地址是192.168.122.101-103)开始安装给定目标集群ip地址 —— 安模式添加允许连续ip的机器原创 2015-03-26 18:49:39 · 4680 阅读 · 0 评论 -
Hummer TimeSeries DB Docker Demo 使用说明
Hummer TimeSeries DB Demo 是借助于Docker 虚拟化技术制作的免安装演示环境,为用户提供初次体验。该演示DEMO中预先创建了两张排序规则为PKT(时间分区按天)的时序表,其中tpass采用唯一key模式、tpass2采用重复key模式,并分别写入了200万、400万数据(纪录都重复一遍)— demo 包含docker安装文件和预写入数据,大约700M上下。原创 2015-03-26 18:44:55 · 5354 阅读 · 0 评论 -
Hummer云端demo介绍
访问地址 www.xushiiot.com Hummer云端实验室是Hummer.SensorData.Platform的WEB用户接口。”实验室”让你能够以交互方式创建数据源,定义监控规则,查看告警,执行SQL查询。并可视化你查询结果集。总得来说”实验室”提供两大类功能:创建数据源执行查询分析,定义监控规则并实时监控你写入的数据。 从数据产生开始,建议按如下步骤操作:原创 2015-03-26 18:51:43 · 4885 阅读 · 0 评论 -
Hummer Sensor Data Platform 技术架构介绍
平台架构组成 (访问地址:www.xushiiot.com)Hummer Sensor Data Platform 主要任务涉及传感器动产动态数据存储和数据分析两个环节。 - 数据存储要求能支撑 : 海量、高速的动态数据存储与检索(数据量达TP级别、每秒数据量可达百万条); - 数据分析要求能支撑 : 实时数据统计、预测、异常检测、Adhoc原创 2015-03-26 18:58:47 · 5579 阅读 · 1 评论 -
Hummer TimeSeries DB 中关于RowId 的使用
RowId 是什么 ? Hummer中的rowid 和 oracle 中的rowid 目的近似、实现不同。Rowid的目的都是唯一标示一条记录,而且也都属于伪列。但Oracle中rowid是有数据的物理位置计算获得,而Hummer中的rowid则是由key、时间戳、binlogid(数据落地时将自动加到记录中)组成 (也正因此Oracle rowid是定长的,Hummer 中row原创 2015-03-26 18:48:19 · 4194 阅读 · 0 评论