sparkstreaming
该组件的各种实例以及注意点
luyanbin_lqq
这个作者很懒,什么都没留下…
展开
-
(Scala语言)sparkstreaming手动提交offset值到kafka(0.10版本)简单示例
SparkStreaming对接kafka处理数据流,手动提交offset到kafka 新手小白没事上来写点博客玩玩,第一次昂好紧张。。。大佬们不喜勿喷。 我用的是kafka0.10版本的,不是0.8的,旧版本的kafka的offset值是由zookeeper监管,在对应的brokers/topics/partitions下好像,具体记不清了。0.10版本的kafka则是由kafka自己管理off...原创 2019-07-30 15:06:40 · 2295 阅读 · 0 评论 -
(Scala)sparkstreaming手动提交offset到zookeeper中,kafka版本0.10
话不多说先上代码,后续再写说明 package zookeeper_offset import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.SparkConf impo...原创 2019-08-05 15:07:36 · 676 阅读 · 0 评论 -
sparkstreaming对接kafka将数据批量插入数据库(java版本)
话不多说先上代码 import DBUtils.Databases; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.common.TopicPartition; import org.apache.kafka.common.serialization.StringDeserializ...原创 2019-08-05 15:24:22 · 2933 阅读 · 5 评论