Spark Streanming模式的一个完整例子

在Streaming模式下，我们向Spark集群提交一个Straming服务，这个服务会一直运行除非被命令终止。这个服务可以建立一个链接，比如关系库，kaffka，socket io，http等等，然后每隔一段时间比如若干秒，从这个连接读取一组数据（字符串，参数，json，特定格式），然后解析这组数据，以分布式计算的方式处理这些数据。

按照Streaming模式，我们可以重新设计计算模型：

1. 在spark集群运行一个Streaming应用。

2. 这个应用每隔10秒，从某种数据链接，获取一组运行参数。然后，将这组参数以分布式方式运行。

3. 如果接收到终止命令，就停止运行。

在本文，我们演示一个Spark Streaming的最简单开发和部署。

1. 在eclipse里开一个spark的应用项目，依赖spark的jar包spark-assembly-1.6.1-hadoop2.6.0.jar，源码如下：

package my.demo;

import java.util.Arrays;

import org.apache.spark.*;
import org.apache.spark.api.java.function.*;
import org.apache.spark.streaming.*;
import org.apache.spark.streaming.api.java.*;

import scala.Tuple2;

public class StreamingDemo {

	public static void main(String[] args) {
		
		//配置master和应用名字
		SparkConf conf = new SparkConf().setAppName("NetworkWordCount").set("spark.rpc.netty.dispatcher.numThreads","2");
		
		//streaming上下文，每隔多少秒执行一次获取批量数据然后处理这些数据
		JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(10));
		//建立输入流，从这个输入流里获取数据，用socket建立，这里是连接到本地的9999
		JavaReceiverInputDStream<String> lines = jssc.socketTextStream("yue", 9999);
		//从输入流获取的数据，进行切分
		JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
			
			@Override
			public Iterable<String> call(String x) {
					return Arrays.asList(x.split(" "));
			}
			
		});
		
		//将前面切分出来的words生成tuple
		JavaPairDStream<String, Integer> pairs = words.mapToPair(new PairFunction<String, String, Integer>() {
			
		    @Override public Tuple2<String, Integer> call(String s) {
		      return new Tuple2<String, Integer>(s, 1);
		    }
		    
		 });
		
		//然后将切分出来的tuple进行计数
		JavaPairDStream<String, Integer> wordCounts = pairs.reduceByKey(new Function2<Integer, Integer, Integer>() {
			
		    @Override public Integer call(Integer i1, Integer i2) {
		      return i1 + i2;
		    }
		    
		 });

		//输出计数
//		wordCounts.
		wordCounts.print();
		System.out.println(wordCounts.count());
		
		//jssc启动
		jssc.start();
		//jssc等待这个过程被中断
		jssc.awaitTermination();

	}

}

注意：在这里，set("spark.rpc.netty.dispatcher.numThreads","2") 这个设置非常重要，如果没有这个设置，streaming一定无法正常运行。

2. 编译成spark_streming.jar包，然后将将它scp到spark集群的master节点yue的任意目录。

3. 在yue节点的终端，执行命令 "nc -lk 9999"，建立起一个socket连接，用它来模拟向spark streaming应用发送命令。

4. 向spark的集群提交spark_streaming并运行它：

./bin/spark-submit --master spark://yue:7077 --class my.demo.StreamingDemo /home/hdp/spark_streaming.jar

这个命令在运行时，每隔10秒，到socket里读取数据。

5. 在nc的命令行，多次输入字符串并回车，能观察到streaming应用将字符串进行切分，并统计结果。对本例进行修改，即可实现开头的分布式opmodel计算模式。