spark 编译遇到的错误及解决办法(六)

实验环境：spark-2.0.2

代码修改：纠正streamId和receiverId混用情况

submit application：参考官网http://spark.apache.org/docs/latest/streaming-programming-guide.html

　　　　　　　　　　./bin/run-example streaming.NetworkWordCount localhost 9999（同时打开9999端口）

出现问题

由上图可知，receiver确实在工作，接收了数据，但是数据的处理被阻塞，检查excutor:

 

发现只有一个driver此时Active，没有执行器执行...

问题解决：（尝试很多方法以后决定换一种提交方式）参考：http://spark.apache.org/docs/latest/submitting-applications.html

submit application:./bin/spark-submit --class org.apache.spark.examples.streaming.NetworkWordCount --master local[3] ./streaming/spark-examples_2.11-2.0.2.jar localhost 9999 (将编译好的spark内部jar包提交)

结果：

正常的接收数据

 总结：spark-2.0.2是诟病很多的版本，接下来会考虑将代码移到spark-2.1.0来做

 本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接

转载于:https://www.cnblogs.com/o-din/p/6488965.html