SparkStreaming读取Socket端口数据
1.代码:
SparkConf conf = new SparkConf().setMaster("local[2]").setAppName("WordCountOnline");
JavaStreamingContext jsc = new JavaStreamingContext(conf, Durations.seconds(5));
JavaReceiverInputDStream<String> lines = jsc.socketTextStream("node5", 9999);
// JavaSparkContext sc = new JavaSparkContext(conf);
// JavaStreamingContext jsc = new JavaStreamingContext(sc,Durations.seconds(5));
// JavaSparkContext sparkContext = jsc.sparkContext();
2.注意:
* 1、local的模拟线程数必须大于等于2 因为一条线程被receiver(接受数据的线程)占用,另外一个线程是job执行
* 2、Durations时间的设置,就是我们能接受的延迟度,这个我们需要根据集群的资源情况以及
监控每一个job的执行时间来调节出最佳时间。
* 3、 创建JavaStreamingContext有两种方式 (sparkconf、sparkc
SparkStreaming部分:读取Socket端口数据(flatMap,maptopair,reducebykey)【Java版纯代码】
最新推荐文章于 2023-12-27 15:25:24 发布