Direct模式
1.并不需要单独线程实时接收数据,而是每隔batch size时间抓取数据
2.kafka相当于文件系统,每个分区相当于从hdfs中读取数据时的每个block块,Dstream的分区和kafka的分区是相同的,要改变并行度必须要重新分区重新分区会有shuffle。
3.读取kafka中的数据之后不需要更新offset到zookeeper而是spark自己管理,把offset存储到内存中,如果设置了checkpoint那么offset会保存到文件中一份保存在内存一份。
4.不需要设置WAL,减少了存储数据到hdfs的步骤增加了job的执行速度。
Driver HA
sparkstreaming是一直运行的,driver是JVM进程,如果挂掉之后重启driver不能恢复挂掉之前的状态,会丢失挂掉时job的执行进度等。如果做了Driver高可用,把job的执行进度保存起来就解决了这个问题。如何实现Driver HA呢下面代码中会有体现
driver HA保存了 1.job的执行进度 2.sparkstreaming的算子逻辑(也就是每个批次都要进行一边的执行逻辑)3.sparkstreaming的配置信息 4.offset(direct模式如果设置了checkpoint就会把offset保存到checkpoint文件中)
代码如下
import java.util.HashMap;
import java.util.HashSet;
import java.util.Map;
import kafka.serializer.StringDecoder;
import org.apache.spark.SparkConf;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaPairInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.apache.spark.streaming.api.java.JavaStreamingContextFactory;
import org.apache.spark.streaming.kafka.KafkaUtils;
public class receiverTest {
public static void main(String[] args) {
final SparkConf conf=new SparkConf().setMaster("local").setAppName("receiverTest");
final String checkpointDirectory="./checkpointDV"; //可以设置为HDFS的路径缓存到HDFS中
/**
* 创建javastreamingcontext的工厂类
*/
JavaStreamingContextFactory factory=new JavaStreamingContextFactory(){
@Override
public JavaStreamingContext create() {
// TODO Auto-generated method stub
return createContext(checkpointDirectory,conf);
}
};
JavaStreamingContext jsc=JavaStreamingContext.getOrCreate(checkpointDirectory,factory);
jsc.start();
jsc.awaitTermination();
}
private static JavaStreamingContext createContext(String checkpointDirectory,SparkConf sparkconf){
JavaStreamingContext jsc=new JavaStreamingContext(sparkconf,Durations.seconds(5));
jsc.checkpoint(checkpointDirectory);
// JavaDStream<String> lines=jsc.textFileStream("./readFile");
Map<String, String> kafkaParameters = new HashMap<String, String>();
kafkaParameters.put("metadata.broker.list", "mylinux2:9092,mylinux3:9092,mylinux4:9092");
HashSet<String> topics = new HashSet<String>();
topics.add("mytopic1"); //mytopic1是读取的topic
JavaPairInputDStream<String,String> lines = KafkaUtils.createDirectStream(jsc,
String.class,
String.class,
StringDecoder.class,
StringDecoder.class,
kafkaParameters,
topics);
lines.print();
return jsc;
}
}