在运行实例代码时候,在命令行中log4j的日志中,有时会出现这样的日志,没有warning也没有error,但就是出现不了结果。
由日志中可以看到,一直在执行add job的过程,也就是说一直在执行receiver的过程,但我们接收到的数据实际上是没有执行的,再看官方文档 传送门
翻译过来的意思是:
在本地运行Spark Streaming程序时,不要使用“local”或“local[1]”作为主节点URL。这两种方法都意味着只能使用一个线程在本地运行任务。如果你用基于receiver 的输入dStream(例如套接字、Kafka、Flume等),然后使用单个线程来运行receiver ,不留下任何线程来处理接收到的数据。因此,当你在本地跑程序时,始终使用“local[n]”作为主节点URL,其中n>接收器要运行的数量(有关如何设置主机的信息,请参见Spark Properties)。
将逻辑扩展到集群上运行,分配给Spark Streaming应用程序的核心数量必须大于接收者的数量。否则,系统将只接收数据,但不会处理它。
所以我们只要将代码中
改为
即可。