![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
文章平均质量分 76
Agatha方艺璇
路遥马急的人间,愿成长得明媚,与优秀为伍
展开
-
Flume对接Kafka,Kafka监控
Flume对接Kafka1、配置flume(flume-kafka.conf)#definea1.sources = r1a1.sinks = k1a1.channels = c1 # sourcea1.sources.r1.type = execa1.sources.r1.command = tail -F -c +0 /opt/module/datas/flume.loga1.sources.r1.shell = /bin/bash -c # sinka1.sinks.k1.type = org.a原创 2021-01-12 20:15:48 · 388 阅读 · 0 评论 -
Flume进阶
Flume进阶一、Flume事务1、Put 事务流程doPut:将批数据先写入临时缓冲区 putListdoCommit:检查 channel 内存队列是否足够合并doRollback:channel 内存队列空间不足,回滚数据2、Take 事务流程doTake:将数据取到临时缓冲区 takeList,并将数据发送到 HDFSdoCommit:如果数据全部发送成功,则清除临时缓冲区 takeListdoRollback:数据发送过程中如果出现异常,rollback 将临时缓冲区 takeList原创 2021-01-03 20:02:45 · 658 阅读 · 2 评论 -
Flume快速入门
Flume快速入门一、Flume安装部署1、 安装地址1) Flume官网地址http://flume.apache.org/2)文档查看地址http://flume.apache.org/FlumeUserGuide.html3)下载地址http://archive.apache.org/dist/flume/https://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz2、 安装原创 2021-01-03 19:19:53 · 432 阅读 · 0 评论 -
Flume概述
一、Flume概述1.1 Flume定义Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。1.2 Flume基础架构Flume组成架构如图所示:二、Flume组成架构下面我们来详细介绍一下Flume架构中的组件:1.2.1 AgentAgent是一个JVM进程,它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成,Source、Channel、Sink。1.2.2 SourceSource原创 2021-01-03 18:53:44 · 173 阅读 · 0 评论