SparkStreaming本地Local模式启动接收不到数据

最新推荐文章于 2022-06-20 19:42:33 发布

Stackflowed

最新推荐文章于 2022-06-20 19:42:33 发布

阅读量1.9k

点赞数 2

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/yuxielea/article/details/105942665

版权

在SparkStreaming本地Local模式启动时遇到数据接收不到的问题，未报Error，只显示特定信息。解决办法是确保master URL设置为'local[n]'，其中n大于接收器数量，以保证有足够的线程处理数据。同时，分配给应用的内核数应大于接收器数，避免数据处理不及时。遵循官方文档建议，避免使用'local'或'local[1]'启动，以防仅有一个线程导致问题。

摘要由CSDN通过智能技术生成

问题：

SparkStreaming接收不到数据，并未报Error错误，打印如下信息：

20/05/06 01:18:29 INFO memory.MemoryStore: Block input-0-1588699109200 stored as values in memory (estimated size 32.0 B, free 1994.9 MB)
20/05/06 01:18:29 INFO storage.BlockManagerInfo: Added input-0-1588699109200 in memory on root:55427 (size: 32