Flink 实时数仓-思考与总结

1，什么是Flink实时数仓。

  大家做离线开发是的时候数据存储在hdfs或者hive，基于此，不管用什么组件，数据源都是hive，然后定时执行脚本，跑离线任务啥的。

 实时数仓大家可以理解为数据都存储在kafka，Flink消费kafka的数据然后进行逻辑处理，然后再下发到kafka，这么延迟是秒或者分钟级别的，对于不同的业务效果更好，更实时。

 2，为什么要做实时数仓呢？

  我的理解是因为业务，大家想想，离线数据处理的都是什么数据，简单总结之就是流量数据，从大量的数据最后得到几个需要的维度的值，而实时数仓效果更快，这是技术的进步，更能提高效率

 

3，实时数仓的缺点？

  缺点可能的话还是资源吧，消耗更多。

 与其说是缺点，不如说是难点，痛点。 大概是资料不是很多，坑还需要人来趟。

 

4，之前我在接触实时数仓的时候，有个想法。

  我之前想整合 Nifi + Flink+Druid的，目前都了解了一下之后发现不行。

 首先Nifi 使用有局限，没我想象的那么简单和容易上手，Druid就不说了，吃资源大户，类似kylin，而且也是需要时间去设计数据结构，存储等等，难点不是使用。这两者都不是很流行，说白了用的人没那么多，对于公司来讲，成本未知。

 

5，还是聊聊Flink实时数仓吧。

  1）美团实时数仓

    平台架构&