SparkStreaming部分:读取Socket端口数据(flatMap,maptopair,reducebykey)【Java版纯代码】

SparkStreaming读取Socket端口数据
        1.代码:
            SparkConf conf = new SparkConf().setMaster("local[2]").setAppName("WordCountOnline");
            JavaStreamingContext jsc = new JavaStreamingContext(conf, Durations.seconds(5));
            JavaReceiverInputDStream<String> lines = jsc.socketTextStream("node5", 9999);
            
            //        JavaSparkContext sc = new JavaSparkContext(conf);
            //        JavaStreamingContext jsc = new JavaStreamingContext(sc,Durations.seconds(5));
            //        JavaSparkContext sparkContext = jsc.sparkContext();
        2.注意:
         * 1、local的模拟线程数必须大于等于2 因为一条线程被receiver(接受数据的线程)占用,另外一个线程是job执行
         * 2、Durations时间的设置,就是我们能接受的延迟度,这个我们需要根据集群的资源情况以及
                监控每一个job的执行时间来调节出最佳时间。
         * 3、 创建JavaStreamingContext有两种方式 (sparkconf、sparkc

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值