一、学习路线
1、视频以及网上资料
2、github示例学习
3、官网阅读
4、手动实现代码案例
二、spark版本介绍
maven339,java1.8
三、实时流处理
-
业务需求分析
- 统计主站每个(指定)课程访问的ip、地域信息分布
- 实现步骤
- 基于Hadoop实现方案
- 遇到问题如何解决
-
实时流处理背景
- 时效性高
- 数据量大
-
实时流处理概述
- 实时计算:响应时间短
- 流式计算
- 实时流式计算
-
离线计算与实时对比
- 数据来源:离线一般来源于hdfs,实时一般是消息队列,新增或修改的一批数据
- 处理过程:mapreduce-sparkstream
- 处理速度:慢和快
-
实时流处理框架对比
- ApacheStorm(真实时)
- Apach Spark Streaming(伪实时,有时间窗口)
- flink
-
实时流处理架构与技术选