![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据之Flume
郑永乐
这个作者很懒,什么都没留下…
展开
-
Flume 之Source
Flume 之sourceSource详解现在介绍几种比较重要的SourceAvro Source监听AVRO端口来接受来自外部AVRO客户端的事件流。利用Avro Source可以实现多级流动、扇出流、扇入流等效果。另外也可以接受通过flume提供的Avro客户端发送的日志信息。1.1. Avro Source属性说明!channels –!type – 类型名称,...转载 2019-07-09 20:01:17 · 201 阅读 · 0 评论 -
Flume 入门之架构
Flume 的架构1 Agent原创 2019-07-10 18:54:59 · 267 阅读 · 0 评论 -
Flume之企业开发案例-复制和多路复用
复制和多路复用1)案例需求使用Flume-1监控文件变动,Flume-1将变动内容传递给Flume-2,Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3,Flume-3负责输出到Local FileSystem。编辑配置文件创建flume-file-flume.conf# Name the components on this agenta1.sou...原创 2019-07-11 14:40:20 · 473 阅读 · 0 评论 -
Flume 企业案例之负载均衡和故障转移
案例使用Flume1监控一个端口,其sink组中的sink分别对接Flume2和Flume3,采用FailoverSinkProcessor,实现故障转移的功能。)实现步骤0.准备工作在/opt/module/flume/job目录下创建group2文件夹[@hadoop102 job]$ cd group2/1.创建flume-netcat-flume.conf配置1个netcat...原创 2019-07-11 14:58:32 · 554 阅读 · 0 评论