自己编写的小东西

最新推荐文章于 2020-05-19 13:57:29 发布

抱紧你的我

最新推荐文章于 2020-05-19 13:57:29 发布

阅读量459

点赞数 1

分类专栏： kafka SparkStreaming flume 文章标签：自己的demo

本文链接：https://blog.csdn.net/weixin_44924498/article/details/103362944

版权

本文描述了作者如何构建一个数据处理流程，从HTTP接口通过Flume收集数据，将其发送到Kafka，然后使用SparkStreaming作为消费者处理数据。在过程中遇到了端口占用和配置错误的问题，通过解决问题成功实现了数据接收和处理。最后提到，SparkStreaming可以从Kafka消费数据，并可以根据需求进行进一步的操作。

摘要由CSDN通过智能技术生成

情景想象：
——从某个http接口用flume接收到数据，发送到kafka中，最终用SparkStreaming创建消费者，接收到数据，对数据进行topN操作或者其他操作
手动分割线：————————————————————————————————————
自己编写一个Socket向我的虚拟机中发送数据：
Socket编码
先在我的broker中创建7850端口号

nc -lk 7850

运行Socket代码，能在此端口号中接收到Socket发送的数据
在端口号接收到数据
然后编写flume配置文件：flume-kafka.conf，最初的配置文件：

a1.sources = r1
a1.channels = c1
a1.sinks = k1

#配置socket sources
a1.sources.r1.type = netcat
a1.sources.r1.bind = 192.168.80.128
a1.sources.r1.port = 7850

#配置拦截器
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder
a1.sources.r1.interceptors.i1.h