spark-stream：一、前置介绍

一、学习路线

1、视频以及网上资料

2、github示例学习

3、官网阅读

4、手动实现代码案例

二、spark版本介绍

maven339，java1.8

三、实时流处理

1. 业务需求分析

   1. 统计主站每个（指定）课程访问的ip、地域信息分布
   2. 实现步骤
   3. 基于Hadoop实现方案
   4. 遇到问题如何解决

2. 实时流处理背景

   1. 时效性高
   2. 数据量大                                                       

3. 实时流处理概述

   1. 实时计算：响应时间短
   2. 流式计算
   3. 实时流式计算

4. 离线计算与实时对比

   1. 数据来源：离线一般来源于hdfs，实时一般是消息队列，新增或修改的一批数据
   2. 处理过程：mapreduce-sparkstream
   3. 处理速度：慢和快

5. 实时流处理框架对比

   1. ApacheStorm（真实时）
   2. Apach Spark Streaming（伪实时，有时间窗口）
   3. flink

6. 实时流处理架构与技术选