spark streaming 流程

1.读取kafka，先用redirect方式读取到数据，再取出变量DStream读取到offset，再用读取成rdd的方式读取kafka（适合批量处理，并且spark的该方法需要offset），此处需要两次读取kafka相同的数据，暂时没找到更合适的方案

原因是redirect读取到的DStream暂时没有找到很好的方式处理

2.kafka记录有且只处理一次高可用的实现：kafka commit手动提交方式保证每条记录最少处理一次，zookeeper保存执行出现异常的offset 保证执行失败的记录不遗失

3.实时统计要求描述：想实现秒级统计，及数据展示

现在的思路，kafka实时读取数据，spark streaming 秒级处理kafka数据，按照业务逻辑分组统计，并且保存到hdfs

后端服务接口读取hdfs返回数据到。

难点：spark自带的有状态统计（即可以统计所有批次的数据）依赖它自己提供的checkpoint，checkpoint的原理是保存spark streaming的执行流程图及存储数据，可以保证失败重启数据不丢失，但是代码不能改动，代码改动后checkpoint不会生效。

解决思路：借助hdfs保存上次的统计结果，在代码中实现将本批次的统计结果和保存在hdfs数据再次汇总，重新保存到hdfs中

缺点：多次读取hdfs，读取磁盘效率低。保存操作是在主节点执行，没有利用rdd分布式的特点，感觉不像做数据清洗。spark对读取hdfs没有提供很好的支持