关于运行官方Spark Streaming 实例代码的坑
在本地运行Spark Streaming程序时,不要使用“local”或“local[1]”作为主节点URL。这两种方法都意味着只能使用一个线程在本地运行任务。如果你用基于receiver 的输入dStream(例如套接字、Kafka、Flume等),然后使用单个线程来运行receiver ,不留下任何线程来处理接收到的数据。因此,当你在本地跑程序时,始终使用“local[n]”作为主节点URL,其中n>接收器要运行的数量(有关如何设置主机的信息,请参见Spark Properties)。将逻辑扩展
原创
2018-07-08 21:32:05 ·
2016 阅读 ·
3 评论