大数据实时流处理零数据丢失

大数据实时流处理零数据丢失

1.整体流程：

	a)kafka：作为流处理程序的生产者
	b)sparkStreaming：作为消费者，设置合理batch
	c)DB：输出到redis/ES

2.存在问题：

雪崩效应： kill 出现，导致的数据丢失
sparkStreaming程序挂掉了，导致的数据丢失

解决：
	1.使用checkpoint。维护太麻烦，流程序修改后需要删除checkpoint下的数据才可以，但是这会导致数据丢失或者重复。
	2.官方建议：同时启动新旧两个流程序，然后人为关掉旧的，并记录偏移量，然后新的流程序从指定的偏移量消费。
	
	3.自己保存偏移量到外部设备，每次启动流程序先读取外设，然后判断，offset的读取方式是earliest 还是指定偏移量
	
	4.配置kafak限速参数，以及流程序的序列化方式。
	
	5.关于偏移量的存储，可以存mysql，redis，HBASE，kafka，zk。。。
	
	
	6.关于数据重复，为了达到exactly once， 需要跟实际的业务结合。例如最后的结果如果是写入到HBase，可以将偏移量作为HBase对应的业务表中的一个列，实现事务性，幂等。
	7. 至于Streaming处理完并入库，但offset未提交作业就挂了，下次消费时这批offset数据还会重新读取处理并入库，导致入库数据的重复，这种情况我们只需要将两者放在同一个事物中提交（放到下面的**localTx 中**），就当留个作业给大家。

代码：

1.pom文件：

	 <properties>
        <scala.version>2.11.8</scala.version>
        <spark.version>2.3.1</spark.version>
        <kafka.version>0.10.0.0</kafka.version>
    </properties>

    <repositories>
        <repository>
            <id>scala-tools.org</id>
            <name>Scala-Tools Maven2 Repository</name>
            <url>http://scala-tools.org/repo-releases</url>
        </repository>

        <repository>
            <id>scalikeJDBC</id>
            <name>scalikeJDBC</name>
            <url>https://mvnrepository.com/artifact/org.scalikejdbc/scalikejdbc</url>
        </repository>
    </repositories>

    <pluginRepositories>
        <pluginRepository>
            <id>scala-tools.org</id>
            <name>Scala-Tools Maven2 Repository</name>
            <url>http://scala-tools.org/repo-releases</url>
        </pluginRepository>
    </pluginRepositories>

    <dependencies>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</versio