Spark
Demon_gu
这个作者很懒,什么都没留下…
展开
-
SparkStreaming对接Kafka0.10+管理offset到zookeeper的方式
版本号: spark-streaming-kafka-0-10_2.11 version:2.4.0 kafka-clients version:0.11.0.0 问题:之前都是使用的0.8版本的来保存offset,但因为线上Kafka集群版本为0.11.0.0的,保存offset的方式发生了很大的变化。 官网的方式: import org.apache.kafka.client...原创 2019-04-09 16:16:34 · 990 阅读 · 0 评论 -
Kafka-2.11-0.11.0.0对接spark streaming序列化问题
Kafka_2.11-0.11.0.0 sprak-streaming-kafka-0-10_2.11 报错信息如下 java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecord Serialization stack: - object not serializable (class...原创 2019-04-04 09:52:30 · 790 阅读 · 0 评论 -
使用spark streaming使用snappy压缩保存数据到HDFS中
工作中需要将从Kafka中的数据保存到HDFS中去,并且需要使用snappy压缩 话不多说,直接上代码 /** * 自定义多目录写与追加写,采用snappy压缩 * @author demon * @version 2019/05/05 */ class AppendTextOutputFormat extends TextOutputFormat[Any, Any] { ...原创 2019-05-06 10:03:34 · 2045 阅读 · 3 评论