spark-streaming-kafka-0-8版本的java连接ZK例子

最新推荐文章于 2022-06-02 16:10:29 发布

qq68438

最新推荐文章于 2022-06-02 16:10:29 发布

阅读量826

点赞数 1

分类专栏： spark 文章标签： java spark streaming zookeeper

本文链接：https://blog.csdn.net/qq68438/article/details/77621548

版权

本文介绍如何在Spark Streaming的0-8版本中，使用Java实现连接Zookeeper并存储偏移量的详细步骤。针对0-10版本不再直接支持ZK存储偏移量的问题进行了探讨。

摘要由CSDN通过智能技术生成

最近在研究sparkstreaming连接ZK使用的方法，0-8版本能连接ZK存储偏移量，但0-10版本貌似不能连接ZK来存储偏移量。

继续踩坑。。。

package Spark.SparkStreaming;


import java.io.Serializable;


import java.util.HashMap;
import java.util.Map;

import org.apache.spark.streaming.Duration;
import org.apache.spark.streaming.api.java.*;
import org.apache.spark.streaming.kafka.KafkaUtils;

import kafka.serializer.StringDecoder;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.*;


public class SparkStreaming08 implements Serializable {
	

	private static final long serialVersionUID = 1L;
	static final String ZK_QUORUM = "192.168.8.15:2181,192.168.8.15:2181,192.168.8.15:2181";
    static final String GROUP = "test-consumer-group";
	
	public static <U> void main(String[] args) throws InterruptedException {
		
		SparkConf conf = ne