Flume+kafka+SparkStreaming整合
一、需求
模拟一个流式处理场景:
我再说话,我编写好的一个spark streaming做词频统计
1.模拟说话 : nc -lk 3399
flume
source :avro(qyl01:3399)
channel:memory
sink : kafkasink
模拟实时的日志生成:
echo aa bb cc >> /home/qyl/logs/flume.lo...
原创
2019-01-12 21:59:43 ·
587 阅读 ·
0 评论