![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flume
文章平均质量分 94
五块兰州拉面
你的所有烦恼都来自于读书太少而想的太多 ——杨绛
展开
-
flume进阶(事务,原理,自定义,案例)
Flume 事务Flume Agent 内部原理Flume 拓扑结构1.简单串联2.副本和多路复用(多路复用要配合拦截器使用)3.负载均衡和故障转移Flume支持使用将多个sink逻辑上分到一个sink组,sink组配合不同的SinkProcessor可以实现负载均衡和错误恢复的功能。4.聚合Flume 企业开发案例1.副本和多路复用单数据源多出口案例(副本)在/opt/module/datas/目录下创建flume3文件夹[root@hadoop003 datas]$原创 2021-02-23 20:48:23 · 302 阅读 · 2 评论 -
Flume快速入门09
1.flume介绍是一个实时收集、聚合,传输海量数据的一个工具。2.Flume组成架构AgentAgent是flume的运行实例,flume的启动进程为Application。Agent主要有3个部分组成,Source、Channel、Sink。SourceSource是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec(execute)、jms、spooling directory、netcat(读取端原创 2020-11-07 21:29:32 · 230 阅读 · 0 评论