SparkStreaming实时wordcount案例

2019独角兽企业重金招聘Python工程师标准>>>

package cn.hhb.spark.streaming;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;
import org.apache.spark.streaming.api.java.JavaReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import scala.Tuple2;
import scala.actors.threadpool.Arrays;

/**
 * Created by dell on 2017/8/1.
 */
public class WordCount {
    public static void main(String[] args) {

        // 创建SparkConf
        SparkConf conf = new SparkConf()
                .setAppName("WordCount").setMaster("local[2]")
                .set("spark.testing.memory", "2147480000");

        // 创建JavaStreamingContext
        // 该对象除了接收sparkconf对象之外，还必须接收一个batch interval参数，
        // 就是说，每收集多长时间的数据，划分一个batch，进行处理
        // 这里设置一秒
        JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.seconds(1));

        // 首先创建DStream，代表了一个从数据源来的持续不断的实时数据流
        // 调用JavaStreamingContext的socketTextStream方法，可以创建一个数据源为socket网络端口的
        // 数据流，JavaReceiverInputDStream代表了一个输入的DStream
        // socketTextStream()方法接收两个基本参数，第一个是监听哪个主机上的端口，第二个是监听哪个端口
        JavaReceiverInputDStream<String> lines = jssc.socketTextStream("localhost", 9999);

        // 到这里为止，可以理解为JavaReceiverInputDStream中的，每隔一秒，会有一个RDD，其中封装了
        // 这一秒发送过来的数据，RDD的元素类型为String，即一行一行的文本，所以
        // 这里JavaReceiverInputDStream的泛型类型<String>，其实就代表了它底层的RDD的泛型类型

        // 开始对接收到的数据执行计算，使用sparkcore提供的算子，执行应用在dstream中即可
        // 在底层，实际上是会对DStream中的一个一个的rdd，执行我们应用在dstream上的算子
        // 产生的新RDD，会作为新DStream中的RDD
        JavaDStream<String> words = lines.flatMap(new FlatMapFunction<String, String>() {
            @Override
            public Iterable<String> call(String s) throws Exception {
                return Arrays.asList(s.split(" "));
            }
        });

        // 这个时候，每秒的数据，一行一行的文本，就会被拆分为多个单词，words DStream中的RDD的元素类型
        // 即为一个一个的单词
        // 接着，开始进行flatmap、reduceByKey操作
        JavaPairDStream<String, Integer> pairs = words.mapToPair(new PairFunction<String, String, Integer>() {
            @Override
            public Tuple2<String, Integer> call(String s) throws Exception {
                return new Tuple2<String, Integer>(s, 1);
            }
        });

        JavaPairDStream<String, Integer> wordCounts = pairs.reduceByKey(new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer v1, Integer v2) throws Exception {
                return v1 + v2;
            }
        });

        // 到此为止，我们就实现了实时的wordcount程序
        // 每秒中发送到指定socket端口上的数据，都会被lines DStream接收到
        wordCounts.print();
        try {
            Thread.sleep(5000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }

        // 首先对JavaStreamingContext进行一下后续处理
        // 必须调用JavaStreamingContext的start方法，整个spark streaming application才会启动执行
        // 否则是不会执行的
        jssc.start();
        jssc.awaitTermination();
        jssc.close();
    }
}

转载于:https://my.oschina.net/hehongbo/blog/1499466