Kafka项目在版本0.8和0.10之间引入了一个新的消费者API,因此有两个单独的对应Spark Streaming包可用。请为您的代理选择正确的包和所需的特性;请注意,0.8集成与后来的0.9和0.10代理兼容,但是0.10集成与前面的代理不兼容。
一、代码
/**
* @author Mr.lu
* @Title: KafkaStreamingWordCount
* @ProjectName spark-scala
* @Description: TODO
* @date 2018/11/19:16:58
*/
import java.util.HashMap;
import java.util.Map;
import java.util.regex.Pattern;
import org.apache.spark.*;
import org.apache.spark.api.java.function.*;
import org.apache.spark.streaming.*;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;
import org.apache.spark.streaming.api.java.JavaPairReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.apache.spark.streaming.kafka.KafkaUtils;
import scala.Tuple2;
import com.google.common.collect.Lists;
public class KafkaStreamingWordCount {
public static void main(String[] args) throws InterruptedException {
//设置匹配模式,以空格分隔
final Pattern SPACE = Pattern.compile(" ");
//接收数据的地址和端口
String zkQuorum = "localhost:2181";
//话题所在的组
String group = "1";
//话题名称以“,”分隔
String topics = "top1,top2";
//每个话题的分片数
int numThreads = 2;
SparkConf sparkConf = new SparkConf().setAppName("KafkaWordCount").setMaster("local[2]");
JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, new Duration(10000));
// jssc.checkpoint("checkpoint"); //设置检查点
//存放话题跟分片的映射关系
Map<String, Integer> topicmap = new HashMap();
String[] topicsArr = topics.split(",");
int n = topicsArr.length;
for(int i=0;i<n;i++){
topicmap.put(topicsArr[i], numThreads);
}
//从Kafka中获取数据转换成RDD
JavaPairReceiverInputDStream<String, String> lines = KafkaUtils.createStream(jssc, zkQuorum, group, topicmap);
//从话题中过滤所需数据
JavaDStream<String> words = lines.flatMap(new FlatMapFunction<Tuple2<String, String>, String>() {
//@Override
public Iterable<String> call(Tuple2<String, String> arg0)
throws Exception {
return Lists.newArrayList(SPACE.split(arg0._2));
}
});
//对其中的单词进行统计
JavaPairDStream<String, Integer> wordCounts = words.mapToPair(
new PairFunction<String, String, Integer>() {
//@Override
public Tuple2<String, Integer> call(String s) {
return new Tuple2<String, Integer>(s, 1);
}
}).reduceByKey(new Function2<Integer, Integer, Integer>() {
//@Override
public Integer call(Integer i1, Integer i2) {
return i1 + i2;
}
});
//打印结果
wordCounts.print();
jssc.start();
jssc.awaitTermination();
}
}
二、相关依赖
<!--kafka-->
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka_2.10</artifactId>
<version>1.0.0</version>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka_2.11</artifactId>
<version>1.0.0</version>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>1.0.0</version>
</dependency>
<!--spark-streaming的相关依赖-->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.11</artifactId>
<version>2.3.0</version>
</dependency>
<!--spark-core依赖-->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.3.0</version>
</dependency>
<!--scala依赖-->
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>2.11.7</version>
</dependency>
注意点:
该模式下Kafka中的主题分区与SparkStreaming中产生的RDDS的分区不相关。因此,增加KafkaUtils.createStream()中特定于主题的分区的数量只会增加线程的数量,它不会增加数据处理过程中Spark的并行性。
可以使用不同的组和主题创建多个Kafka输入DStream,以便使用多个接收器并行接收数据。
如果已经启用了带有HDFS等复制文件系统的提前写入日志,则接收的数据已经在日志中复制。储存级别为
StorageLevel.MEMORY_AND_DISK_SER
该模式的优点:
监护并行:使用directStream,Spark Streaming将创建与需要使用的Kafka分区一样多的RDD分区,这些分区将并行地从Kafka读取数据。因此,卡夫卡和RDD分区之间有一对一的映射,这更易于理解和优化。
更具效率性:在第一种方法中实现零数据丢失需要将数据WAL存储。这实际上是低效的,因为数据被有效地复制了两次——一次由Kafka复制,第二次由Write Ahead Log复制。第二种方法消除了问题,因为没有接收器,因此不需要提前写入日志。只要你有足够的Kafka保留,消息可以从卡夫卡中恢复。
语义(仅消费一次):第一种方法使用Kafka的高级API来存储Zookeeper消耗的偏移量。这是传统上从Kafka消费数据的方法。虽然这种方法(与WAL相结合)可以确保零数据丢失,但是在某些故障下,一些记录可能被消耗两次。这是因为Spark Streaming接收到的数据和由Zookeeper跟踪的偏移量不一致。因此,在第二种方法中,我们使用SimpleKafkaAPI而不使用Zookeeper,偏移量由SparkStreaming在CheckPoint跟踪,这消除了SparkStreaming和Zookeeper/Kafka之间的不一致性,因此每个记录都被SparkStreaming有效地接收一次。尽管失败了,为了精确实现输出结果的一次语义,将数据保存到外部数据存储的输出操作必须是幂等的,或者以原子事务的形式保存结果和偏移量。