Flume
文章平均质量分 86
axxbc123
这个作者很懒,什么都没留下…
展开
-
【Flume一】Flume入门
Flume基本架构图: 一个Agent中有Source、Channel和Sink。Sink可以连接HDFS,JMS或者其他的Agent Source Flume术语解释 FlumeEvent A Flume event is defined as a unit of data flow having a byte payload and an opti...原创 2015-02-14 09:50:08 · 417 阅读 · 1 评论 -
【Spark六十一】Spark Streaming结合Flume、Kafka进行日志分析
第一步,Flume和Kakfa对接,Flume抓取日志,写到Kafka中 第二部,Spark Streaming读取Kafka中的数据,进行实时分析 本文首先使用Kakfa自带的消息处理(脚本)来获取消息,走通Flume和Kafka的对接 1. Flume配置 1. 下载Flume和Kafka集成的插件,下载地址:https://github.com/beyondj2ee/flu...原创 2015-02-14 13:20:18 · 350 阅读 · 0 评论 -
【Flume二】HDFS sink细说
1. Flume配置 a1.sources=r1 a1.channels=c1 a1.sinks=k1 ###Flume负责启动44444端口 a1.sources.r1.type=avro a1.sources.r1.bind=0.0.0.0 a1.sources.r1.port=44444 a1.sources.r1.channel...原创 2015-02-15 12:05:53 · 333 阅读 · 0 评论