【Spark-Streaming系列】业务背景、概述
产生背景:
时效性高;
数据量大。
时流处理概述:
实时计算;
流式计算;
实时流式计算;
离线计算与实时计算对比:
1.数据来源
离线:HDFS 历史数据 数据量比较大
实时:消息队列(Kafka),实时新增、修改记录过来的某一笔数据
2. 处理过程
离线:MapReduce: map + reduce
实时:Spark(DStream/SS)
3. 处理速度
离...
原创
2018-08-14 13:06:19 ·
439 阅读 ·
0 评论