SparkStream监听socket时是当客户端使用

最新推荐文章于 2023-04-26 00:00:00 发布

weixin_33724059

最新推荐文章于 2023-04-26 00:00:00 发布

阅读量243

点赞数 1

文章标签：大数据网络 ui

原文链接：https://my.oschina.net/u/1159254/blog/1862615

版权

2019独角兽企业重金招聘Python工程师标准>>>

当SparkStream通过socket方式（TCP）获取输入的数据源时，其本身是作为客户端去连接服务器端的，并不是自己作为服务器端等待客户端发送数据给自己。



public class TestSparkStream implements Serializable{

    public static void main(String[] args) throws InterruptedException {
        SparkConf sparkConf = new SparkConf();
        sparkConf.setMaster("local[2]");
        sparkConf.setAppName("test_spark_st");
        sparkConf.set("spark.ui.enabled","false");
        Duration du = new Duration(5000);
        JavaStreamingContext sc = new JavaStreamingContext(sparkConf,du);
        //这里作为客户端，连接服务器
        JavaReceiverInputDStream<String> stream = sc.socketTextStream("101.218.118.144", 9999, StorageLevel.MEMORY_ONLY());

        stream.print();
        sc.start();
        sc.awaitTermination();
        sc.stop();
    }
}

转载于:https://my.oschina.net/u/1159254/blog/1862615