前置知识点:
discretized Stream 是ss里面最基础的一个抽象,代表着一个以时间为键的RDD序列。将时间作为键,RDD作为值的一个hash表,反映着持续性的数据流和经过各种spark原语操作而得出的结果数据流。
1.receiver接收器方式 使用kafka里面的一个高级API,将生产的数据放在receiver里面包装成DS进行处理,而receiver不断接受数据存放在executor内存里面,所有数据存放在spark中executor内存,但失败的情况下回丢失数据,为了容错,可以考虑启用WAL日志(存储在HDFS上),缺点是WAL日志相当于复制了一份数据,kafka本身也有备份机制,故数据冗余。
2.direct 方式 绕过 receiver接收器 周期性查询kafka,根据kafka里面partition和topic的最新offset,当job启动时, 直接读取一定范围的数据并将数据包装成DS给到SS处理,即ss不存放数据,而是在处理过程中直接使用
区别:
1.receiver方式依赖zookeeper记录偏移量,那么与SS的偏移量记录可能会存在不一致的情况,且WAL日志相当于复制了一份数据,kafka本身也有备份机制,故数据冗余。
2.
direct的优点
(1)简化并行
receiver方式会创建多个kafka输入流,而direct方式实现了 spark分区和kafka分区一一对应,从kafka并行读取数据,便于理解。
(2)高效
省去WAL复制数据。
(3)exactly once semantic
direct方式是直接在SS中记录checkpoint