Druid学习笔记(一)

一、Druid介绍

       Druid单词来源于西方古罗马的神话人物，中文常常翻译为de德鲁伊，Druid是一种分布式的支持实时分析的数据存储系统，又美国MetaMarkets于2011建立的项目。设计之初的想法就是为分析而生。

二、Druid的设计原则

1. 快速查询：部分数据的聚合、内存化、索引
2. 水扩展能力 ：分布式数据、并行化查询
3. 实时分析：不可改变的过去，只能追加未来

三、技术特点

1. 数据吞吐量大：每天处理几十亿几百亿的事件对于Druid来说是非常合适的环境。
2. 支持流式数据摄入。
3. 查询灵活且快：、Druid支持任何维度组合上进行查询，访问速度极快。
4. 社区支持力度大

四、简单概念

    部署环境：系统又java编写，目前支持、djk7及以上版本，在操作系统方面支持、Linux和MaxOs，内存配置建议在8G以上，如果只用于测试4G也可以。

    数据格式：Druid在摄入数据前都必须定义一个数据源，类似关系数据库中的表，每个数据集合包含三个部分：时间列、维度列、指标列。

• 时间列：每个数据集合都必须包含时间列这个列是数据聚合的重要维度，Druid会把时间相近的数据聚合在一起，而且每次查询都必须指定查询时间范围。
• 维度列：用了标识一些事件主要用来过滤或者切片数据 。
• 指标列：用于和聚合数据的列，指标列通常为数值类型，计算操作通常为count、sum、、mean。

   数据摄入：Druid数据摄入主要有两种方式，一种是实时摄入一种是批量摄入，如下下图所示：