Flume
Flume。。。
一个写湿的程序猿
练习两年半的程序猿。。。只因(ji)你太美!!!
初识不知文中意,再见已是文中人
展开
-
Flume-聚合案例
聚合1)案例需求:hadoop102上的Flume-1监控文件/opt/module/group.log,hadoop103上的Flume-2监控某一个端口的数据流,Flume-1与Flume-2将数据发送给hadoop104上的Flume-3,Flume-3将最终数据打印到控制台。2)需求分析3)实现步骤:(1)准备工作在hadoop102、hadoop103以及hadoop104的/opt/module/flume/job目录下创建一个group3文件夹。[qinjl@hadoop1原创 2020-08-18 21:10:47 · 692 阅读 · 3 评论 -
Flume-负载均衡和故障转移案例
文章目录负载均衡和故障转移负载均衡和故障转移1)案例需求使用Flume1监控一个端口,其sink组中的sink分别对接Flume2和Flume3,采用FailoverSinkProcessor,实现故障转移的功能。(轮询)2)需求分析3)实现步骤(1)准备工作在 /opt/module/flume/job 目录下创建group2文件夹[qinjl@hadoop102 job]$ cd group2/(2)创建flume-netcat-flume.conf配置1个netcat sour原创 2020-08-18 21:05:43 · 543 阅读 · 0 评论 -
Flume-复制和多路复用案例
文章目录复制和多路复用复制和多路复用1)案例需求使用 Flume-1 监控文件变动,Flume-1 将变动内容传递给 Flume-2,Flume-2 负责存储到HDFS。同时 Flume-1 将变动内容传递给 Flume-3,Flume-3 负责输出到 Local File System。2)需求分析:3)实现步骤:(1)准备工作在/opt/module/flume/job目录下创建group1文件夹[qinjl@hadoop102 job]$ cd group1/在/opt/modu原创 2020-08-18 20:50:27 · 428 阅读 · 0 评论 -
Flume-事务机制,Flume Agent内部原理
文章目录Flume事务机制Flume Agent内部原理Flume事务机制Put事务-流程doPut:将批数据先写入临时缓冲区 putListdoCommit:检查 channel 内存队列是否足够合并doRollback:channel 内存队列空间不足,回滚数据Take 事务流程doTake:将数据取到临时缓冲区 takeList,并将数据发送到 HDFSdoCommit:如果数据全部发送成功,则清除临时缓冲区 takeListdoRollback:数据发送过程中如果出现异常,rol原创 2020-08-09 13:38:42 · 1243 阅读 · 0 评论 -
Flume-实时监控单目录下的多个新文件案例,实时监控多目录下的多个追加文件案例
文章目录实时监控目录下多个新文件实时监控多目录下的多个追加文件实时监控目录下多个新文件1)案例需求:使用flume监控某个目录下的日志文件,当某个目录下出现符合要求的文件名称的文件时,则对文件中的日志数据进行读取,并将数据最终写入到hdfs上2)需求分析:3)实现步骤:(1)创建配置文件files-flume-hdfs.conf创建一个文件[qinjl@hadoop102 job]$ vim files-flume-hdfs.conf添加如下内容a3.sources = r3a3.原创 2020-08-09 13:01:19 · 1333 阅读 · 0 评论 -
Flume-监控端口数据案例,实时监控单个追加文件案例
文章目录监控端口数据官方案例实时监控单个追加文件监控端口数据官方案例1)案例需求:使用Flume监听一个端口,收集该端口数据,并打印到控制台。2)需求分析:3)实现步骤:(1)安装netcat工具[qinjl@hadoop102 software]$ sudo yum install -y nc(3)创建Flume Agent配置文件netcat-flume-logger.conf在flume目录下创建job文件夹并进入job文件夹。[qinjl@hadoop102 flume]原创 2020-08-09 10:06:09 · 684 阅读 · 0 评论 -
Flume-概述,基础架构,组件介绍
文章目录Flume概述Flume基础架构AgentEventSourceSinkChannelFlume概述Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data from many different sources to a centralized data store.Flum原创 2020-08-07 23:36:50 · 1828 阅读 · 0 评论