解决SparkStreaming 集群模式接收不到nc数据

一、写sparkstreaming代码：

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.log4j.{Level, Logger}
import org.apache.spark.streaming.{Seconds, StreamingContext}

object test {
  def main(args: Array[String]): Unit = {
    Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
    val sc =new SparkConf().setAppName( "sparkStreamingWordCount" )
    val stc =new StreamingContext(sc,Seconds(5))

    val lines=stc.socketTextStream("master",6668)

    lines.print()

    stc.start()
    stc.awaitTermination()

  }

}

没有在 sparkConf后面设置.setmaster()，是在集群上跑。如果是本机跑应该设置为.setmaster("local[2]") 后面数字要大于等于2，否则线程不够用接受不到数据。

2.修改脚本指定total-executor-cores

cores数量default是1，内核数要大于2否则还是因为内核不够只能接收数据不能处理数据从而无法显示！

./spark-submit --class test \
--master yarn \
--total-executor-cores 20 \
--deploy-mode client \
../examples/jars/untitled_babyyang.jar 

3.开启nc

nc -lk 端口号 我这里是6668

然后发送数据即可！