Druid实时大数据笔记01

以下内容都是来自：《Druid实时大数据分析原理与实践》

1，做这个笔记不知道能不能坚持下去，主要是想看这本书，使用Druid做尝试了解探索一下实时数仓。

2，最近没那么多时间研究，看一点十一点，有兴趣的同学可以留言以及联系我，我们一起讨论研究一下这个实时数仓怎么玩，也可以相互分享一下个人资料跟经验

 

一， 入门之前先了解一下Druid的一些特点跟基础认知：

     1，快速的，列式的分布式的支持实时分析的数据存储系统，它比传统的OLAP系统有了显著的性能改进。

     2，列式存储，可以扩展的分布式系统，大规模并行处理

     3，实时，批量摄取 --实时跟离线都可以做

     4，预聚合或预计算

 

 二，适应的应用场景 

 

三，技术特点：

1，数据吞吐量大,几十或者上百亿没问题

2，支持流式数据摄入和实时

3，查询灵活且快

 

四，Druid的基础概念

1，数据格式：

   1） 时间列：

每个数据集合都必须有时间列，这个列是数据聚合的重要维度，Druid会将时间很近的一些数据行聚合在一起。另外，所有的查询都需要指定查询时间范围。

   2）维度列 --可以理解为维度条件

 3） 指标列 --用于聚合和计算的列

     指标列字段通常为数值类型，计算操作通常包括Count，Sum 和 Mean等。通常是业务的关键量化指标，如下图：

 

2，数据摄入，或者数据来源

1）实时数据摄入  ： kafka+Flink+Druid

2）离线批量摄入 ： Flink,Spark+Druid

 

3，数据查询

     Druid原生查询是才有JSON格式，通过HTTP传送，   不支持标准的SQL语言查询。

 

五，Druid的性能指标

 

 

六，参考资料：