JINGXI的博客

准备编程语言介绍scala、java、python、R都有spark对应的api，但如果想深入理解spark还是需要学习scala的。（scala中隐式转换特性可以很大程度提高spark开发效率）；Scala（FP+OP面向对象和函数式编程混合语言）优势在于函数式编程；scala是在java之外套了一层壳，编译之后还是.class，运行在jvm，所以java语言在学习大数据组建中也特别重要...

偏移量保存到数据库一、版本问题由于kafka升级到2.0.0不得不向上兼容，之前kafka1.0.0的接口已经完全不适应上个工具，重写偏移量维护Kafka1.0.x偏移量管理以及维护思路使用等的问题看上一篇文章https://blog.csdn.net/qq_41922058/article/details/86478250二、代码改动比较kafka-1.0.x版本，需要改动获取偏移量...

偏移量保存到数据库一、版本介绍具体使用方法，请看这两篇文章，下面只介绍需要修改的地方Kafka1.0.x偏移量管理以及维护思路使用等的问题看这一篇文章https://blog.csdn.net/qq_41922058/article/details/86478250Kafka2.0.0偏移量管理以及维护思路使用等的问题看这一篇文章https://blog.csdn.net/qq_419...

偏移量保存到数据库一、版本区别之前版本的kafka偏移量都是保存在kafka中的，而现在的kafka偏移量保存在了自己的一个特殊主题__consumer__offsets中二、维护思路根据传入的主题以及消费者组，先判断库中是否存在当前消费者组的消费记录，如果不存在，则证明为第一次消费，获取主题每分区当前的偏移量保存入库，如果存在，则读取库中各分区偏移量字段，封装为MAP，传入创建Dstre...