大数据实时分析架构

flume+kafka+flink+hbase 实时分析架构##

• 整体架构

各个业务系统的消息源多种多样，使用 flume 作为消息的采集端，有一定的扩展性，采集的消息发往hdfs直接保存和消息管道进行实时计算。中间传输层采用Kakfa，能够支撑海量数据的数据传递。将消息持久化到磁盘中，并对消息创建了备份保证了数据的安全。Kafka在保证了较高的处理速度的同时，又能保证数据处理的低延迟和数据的零丢失。计算框架多采用高吞吐的SparkStreaming，还拥有Spark生态圈丰富的组件，最后将处理好的数据写入Hbase方便即时查询。
计算框架中新兴的 flink 很多方面会表现的更为优秀，之后项目也会采用它来取代sparkStream。

• dome
  后续补充