Flume推送数据给streaming其实是配置
把数据推送给端口，streaming直接去读端口。
Flume的安装：
1.配置系统环境变量
2.配置flume的conf文件，里面有agent，channel，sink
3.可以在spark-env中配置java_home 和
本文介绍了如何使用Flume将数据推送到SparkStreaming，详细讲解了Flume的安装步骤以及配置，强调在数据量不稳定时选择Flume的原因。在Flume推送给SparkStreaming时，需要注意可能存在的问题，如限速、启动顺序等，并推荐使用Flume+kafka组合。针对SparkStreaming可能内存撑爆的情况，提出了通过设置checkpoint和消息循环来清理RDD的解决方案。最后，给出了使用Java代码实现Flume与SparkStreaming连接的示例。
最低0.47元/天 解锁文章
807
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
