在Streaming模式下,我们向Spark集群提交一个Straming服务,这个服务会一直运行除非被命令终止。这个服务可以建立一个链接,比如关系库,kaffka,socket io,http等等,然后每隔一段时间比如若干秒,从这个连接读取一组数据(字符串,参数,json,特定格式),然后解析这组数据,以分布式计算的方式处理这些数据。
按照Streaming模式,我们可以重新设计计算模型:
-
在spark集群运行一个Streaming应用。
-
这个应用每隔10秒,从某种数据链接,获取一组运行参数。然后,将这组参数以分布式方式运行。
-
如果接收到终止命令,就停止运行。
在本文,我们演示一个Spark Streaming的最简单开发和部署。
-
在eclipse里开一个spark的应用项目,依赖spark的jar包spark-assembly-1.6.1-hadoop2.6.0.jar,源码如下:
package my.demo;
import java.util.Arrays;
import org.apache.spark.*;
import org.apache.spark.api.java.function.*;
import org.apache.spark.streaming.*;
import org.apache.spark.streaming.api.java.*;
import scala.Tuple2;
public class StreamingDemo {
public static void main(String[] args) {
//配置master和应用名字
SparkConf conf = new SparkConf().setAppName("NetworkWordCount").set("spark.rpc.netty.dispatcher.numThreads","2");
//streaming上下文,每隔多少秒执行一次获取批量数据然后处理这些数据
JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(10));
//建立输入流,从这个输入流里获取数据,用socket建立,这里是连接到本地的9999
JavaReceiverInputDStream<String> lines = jssc.socketTextStream("yue", 9999);
//从输入流获取的数据,进行切分
JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
@Override
public Iterable<String> call(String x) {
return Arrays.asList(x.split(" "));
}
});
//将前面切分出来的words生成tuple
JavaPairDStream<String, Integer> pairs = words.mapToPair(new PairFunction<String, String, Integer>() {
@Override public Tuple2<String, Integer> call(String s) {
return new Tuple2<String, Integer>(s, 1);
}
});
//然后将切分出来的tuple进行计数
JavaPairDStream<String, Integer> wordCounts = pairs.reduceByKey(new Function2<Integer, Integer, Integer>() {
@Override public Integer call(Integer i1, Integer i2) {
return i1 + i2;
}
});
//输出计数
// wordCounts.
wordCounts.print();
System.out.println(wordCounts.count());
//jssc启动
jssc.start();
//jssc等待这个过程被中断
jssc.awaitTermination();
}
}
注意:在这里,set("spark.rpc.netty.dispatcher.numThreads","2") 这个设置非常重要,如果没有这个设置,streaming一定无法正常运行。
2. 编译成spark_streming.jar包,然后将将它scp到spark集群的master节点yue的任意目录。
3. 在yue节点的终端,执行命令 "nc -lk 9999",建立起一个socket连接,用它来模拟向spark streaming应用发送命令。
4. 向spark的集群提交spark_streaming并运行它:
./bin/spark-submit --master spark://yue:7077 --class my.demo.StreamingDemo /home/hdp/spark_streaming.jar
这个命令在运行时,每隔10秒,到socket里读取数据。
5. 在nc的命令行,多次输入字符串并回车,能观察到streaming应用将字符串进行切分,并统计结果。对本例进行修改,即可实现开头的分布式opmodel计算模式。