spark消费kafka导入mysql_GitHub - fcvane/KafkaToSparkToKudu: SparkStreaming消费Kafka消息队列数据,实时写入Kudu列存数据库。...

KafkaToSparkToKudu

#实时流数据同步

SparkStreaming消费Kafka消息队列数据,实时写入Kudu列存数据库。

#调用方式

根据Kafka offset存储方式的不同，调用方式也不同。

##Kafka offset 存储方式有以下三种：

###1.ZooKeeper存储

zkCli.sh -server bigdata04:2181,bigdata05:2181,bigdata06:2181,bigdata07:2181,bigdata08:2181

ls /oggoffset

get /oggoffset/0

####使用zk存储和读取采用以下方式调用：

spark-submit

--master local[*]

--class ConsumerMain

/home/ConsumerMain.jar zk

###2.本地文件存储

存储位置在 ./files/offset.log

####调用方式：

spark-submit

--master local[*]

--class ConsumerMain

/home/ConsumerMain.jar local

###3.新版本Kafka(0.10及以上)自身存储

自身存储不需要专门编写读取Kafka offset的方法

####调用方式(不带参数)：

spark-submit

--master local[*]

--class ConsumerMain

--conf spark.streaming.stopGracefullyOnShutdown=true

--conf spark.streaming.backpressure.enabled=true

--conf spark.streaming.backpressure.initialRate=5000

--conf spark.streaming.kafka.maxRatePerPartition=2000

/home/ConsumerMain.jar

#后续提升

###仅供参考

现阶段只是模板，暂未实现正常的参数调用和配置实例化。

--files /home/kafka.keystore,/home/kafka.truststore Kafka SSL认证