Kafka与Spark Streaming集成，如何保证exactly once语义

      spark streaming集成Kafka时，数据处理的语义很重要，如何保证数据只能被处理一次而不重复？接下来将详细介绍。

一、流处理系统中的三种消息传递语义

• at least once：每条消息会被收到1次或多次
• at most once：每条消息会被收到0次或1次
• exactly once：保证每条消息，只会被处理一次。是最强最精确的语义，也最难实现
        一个Spark Streaming程序由三步组成：输入、处理、输出。要达到exactly once的理想状态，需要三步协同进行，而不是只与处理逻辑有关。

二、Kafka输入端

      Kafka集成spark streaming有两种方法，旧的基于receiver的方法，新的基于direct stream。由于最新版本的spark(2.4.4)只支持direct，所以就以direct模式为例进行分析。
      spark streaming的driver进程每次只需要从Kafka获得批次消息的offset range，然后Executor进程根据offset range去读取该批次的消息即可。由于offset在Kafka中能唯一确定一条消息，且在外部只能被Streaming程序本身感知到，因此消除了不一致性，达到了exactly once。
      不过，这种模式有一个突出的问题，就是offset的管理。一旦程序崩溃，整个流程只能从earliest或latest点恢复，中间的数据会消费不到，肯定不妥。所以需要自己管理offset，在zookeeper、外部的MySQL、che