Flume
攻城狮Kevin
爱学习,爱工作,爱生活
展开
-
Flume的概念、组成架构及安装部署教程(附安装包下载地址)
目录一、Flume是什么二、 Flume的组成架构1. put事务流程2. take事务流程3. Flume的组织架构(1)Agent(2)Source(3)Channel(4)Sink(5)Event三、Flume的下载与安装1. Flume官网链接2.Flume安装包下载地址3. 安装Flume步骤(以apache-flume-1.7....原创 2018-12-11 21:13:21 · 1063 阅读 · 0 评论 -
启动Flume命令语法解析
写好agent配置文件,配置文件名为flume-app.conf(指定source、channel和sink),启动agent配置文件命令如下bin/flume-ng agent-c /opt/module/flume/conf-f ~/work/flume-job/flume-app.conf-n agent-app-Dflume.root.logger=info,consol...原创 2019-02-25 15:44:15 · 1880 阅读 · 0 评论 -
Flume内部原理——Interceptor & Selector和IDEA编写自定义拦截器案例
目录一、Flume内部原理二、Interceptor和Selector配置文件案例三、自定义拦截器案例(IDEA)一、Flume内部原理Flume内部从Source -> Channel -> Sink,中间会先后经历拦截器和选择器;(1)Event:一个数据单元,也是Flume数据传输的基本单元,事务类型; 包括一个可选的消息头head...原创 2019-02-25 20:57:22 · 737 阅读 · 0 评论 -
日志采集系统flume和kafka有什么区别及联系,它们分别在什么时候使用,什么时候又可以结合?
日志采集系统flume和kafka有什么区别及联系,它们分别在什么时候使用,什么时候又可以结合?观点一:简言之:这两个差别很大,使用场景区别也很大。先说flume:日志采集。线上数据一般主要是落地文件或者通过socket传输给另外一个系统。这种情况下,你很难推动线上应用或服务去修改接口,直接向kafka里写数据。这时候你可能就需要flume这样的系统帮你去做传输。对于数量级别,做过单机upd的fl...转载 2019-03-04 09:42:07 · 417 阅读 · 0 评论 -
Flume会不会丢失数据?
在一些网络资料中有看到当Flume的数据量达到70MB/s以上时,就会出现丢失数据的情况。但是根据Flume的架构原理,采用FileChannel的Flume是不可能丢失数据的,因为其内部有完善的事务机制(ACID)。Source到Channel是事务性的,Channel到Sink也是事务性的,这两个环节都不可能丢失数据。唯一可能丢失数据的是Channel采用MemoryCh...原创 2019-03-22 11:58:17 · 6131 阅读 · 1 评论 -
Flume和Kafka的区别与联系
目录区别点一:区别点二:同样是流式数据采集框架,flume一般用于日志采集,可以定制很多数据源,减少开发量,基本架构是一个flume进程agent(source、拦截器、选择器、channel<Memory Channel、File Channel>、sink),其中传递的是原子性的event数据;使用双层Flume架构可以实现一层数据采集,一层数据集合;Flu...原创 2019-03-06 21:35:20 · 19274 阅读 · 8 评论