1.Spark官方参考文档
官方文档参考
# kafka offset管理
http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html
# exactly once语义实现的两种方式
http://spark.apache.org/docs/latest/streaming-programming-guide.html#fault-tolerance-semantics
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/67cde4b6e9982ed4355be3ce7856b32b.png#pic_center)
1.1 聚合类型操作(如WC类型)+MySql事务提交
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/0719a319c84be4421ae6a3da9e2280e5.png#pic_center)
1.2 非聚合类型操作(如ETL类型)+Hbase行级事务提交
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/f444f17f3871106899ed218cbebf1b99.png#pic_center)