u013314600的博客

sparkstreaming 2.1.0 kafka 0.10.1.1  topic三个partition相关配置代码：val kafkaParam = Map[String,Object]( "key.deserializer"->classOf[StringDeserializer] ,"value.deserializer"->classOf[StringDeserial...

最近开始使用sparkstreaming+kafka0.10，使用过程中碰到问题：    steaming采用的direct方式 ，(这种方式和receiver方式的对比性能会好很多)，spark计算完数据之后有一个结果入库操作，现在问题来了，采用自动提交的时候程序二次启动经常会出现重复消费的情况，并且怎么保证这个结果只生产一次呢？首先介绍一下sparkstreaming内部是怎么做到消息只计算一...