[Stage 0:> (0 + 1) / 1][Stage 10:> (0 + 1) / 1]20/02/11 11:32:55 WARN RandomBlockReplicationPolicy: Expecting 1 replicas with only 0 peer/s.
20/02/11 11:32:55 WARN BlockManager: Block input-0-1581391975600 replicated to only 0 peer(s) instead of 1 peers
sc = SparkContext("local[2]", "Stream Socket Test") ssc = StreamingContext(sc, 5) lines = ssc.socketTextStream("home.redblue-ai.com", 9999)
提交的时候用的 ./bin/spark-submit test.py localhost 9999 , 当然,首先需要运行 Netcat(一个在大多数类 Unix 系统中的小工具)作为我们使用的数据服务器(用来模拟数据流)。
一直出现如上的错误,后来修改了虚拟机的内核为2,问题解决。
继续修改提交方式 ./bin/spark-submit --master local[1] test.py localhost 9999 ,结果又出现如上的错误。
去看官方文档发现了这个严重的问题,sparkstreaming不能少于2个线程,至少要一个接收一个处理: