SparkStreaming Direct模式总结

Direct模式

1.并不需要单独线程实时接收数据，而是每隔batch size时间抓取数据

2.kafka相当于文件系统，每个分区相当于从hdfs中读取数据时的每个block块，Dstream的分区和kafka的分区是相同的，要改变并行度必须要重新分区重新分区会有shuffle。

3.读取kafka中的数据之后不需要更新offset到zookeeper而是spark自己管理，把offset存储到内存中，如果设置了checkpoint那么offset会保存到文件中一份保存在内存一份。

4.不需要设置WAL，减少了存储数据到hdfs的步骤增加了job的执行速度。

Driver HA

sparkstreaming是一直运行的，driver是JVM进程，如果挂掉之后重启driver不能恢复挂掉之前的状态，会丢失挂掉时job的执行进度等。如果做了Driver高可用，把job的执行进度保存起来就解决了这个问题。如何实现Driver HA呢下面代码中会有体现

driver HA保存了 1.job的执行进度 2.sparkstreaming的算子逻辑（也就是每个批次都要进行一边的执行逻辑）3.sparkstreaming的配置信息 4.offset(direct模式如果设置了checkpoint就会把offset保存到checkpoint文件中)

代码如下

import java.util.HashMap;
import java.util.HashSet;
import java.util.Map;

import kafka.serializer.StringDecoder;

import org.apache.spark.SparkConf;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaPairInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.apache.spark.streaming.api.java.JavaStreamingContextFactory;
import org.apache.spark.streaming.kafka.KafkaUtils;


public class receiverTest {
	  public static void main(String[] args) {
		  final SparkConf conf=new SparkConf().setMaster("local").setAppName("receiverTest");
		  final String checkpointDirectory="./checkpointDV"; //可以设置为HDFS的路径缓存到HDFS中
		  /**
		   * 创建javastreamingcontext的工厂类
		   */
		  JavaStreamingContextFactory factory=new JavaStreamingContextFactory(){
			@Override
			public JavaStreamingContext create() {
				// TODO Auto-generated method stub
				return createContext(checkpointDirectory,conf);
			} 
		  };
		  JavaStreamingContext jsc=JavaStreamingContext.getOrCreate(checkpointDirectory,factory);
		  jsc.start();
		  jsc.awaitTermination();
		 
	  }
	  private static JavaStreamingContext createContext(String checkpointDirectory,SparkConf sparkconf){
		  JavaStreamingContext jsc=new JavaStreamingContext(sparkconf,Durations.seconds(5));
		  jsc.checkpoint(checkpointDirectory);
		 // JavaDStream<String> lines=jsc.textFileStream("./readFile");
		  Map<String, String> kafkaParameters = new HashMap<String, String>();
		  kafkaParameters.put("metadata.broker.list", "mylinux2:9092,mylinux3:9092,mylinux4:9092");
		  HashSet<String> topics = new HashSet<String>();
		  topics.add("mytopic1"); //mytopic1是读取的topic
		  JavaPairInputDStream<String,String> lines = KafkaUtils.createDirectStream(jsc,
					String.class,  
					String.class,
					StringDecoder.class,
					StringDecoder.class,
					kafkaParameters,
					topics);
		  lines.print();
		  return jsc;
	  }
}