Flume
肉装法师
读书人的事能算偷
展开
-
Flume几点注意
flume 自定义过滤器event最大定义为2048字节 2kflume自定义过滤器按照先后顺序处理。可以对一个source指定多个拦截器,按先后顺序依次处理。不建议通过对event的body解析来设置header,因为flume就是一个水槽。当然也可以。编写过滤器类,实现 Interceptor接口,implements Interceptor 。自定义过滤器中含有单个和批量event方法,批处理拦截器内部调用具体单个event过滤方法。flume从source获取的数据存储在body中,它的.原创 2020-10-14 13:29:40 · 313 阅读 · 0 评论 -
Flume获取多数据源数据传入kafka
实验条件:两个mysql 5.3 数据库在不同ip的机器上一个kafka 0.10.1集群(ambari集群,kafka端口默认6667,apache原生端口9092)一台flume 1.5.2按以下步骤:1. 上传两个包到flume/lib/目录(存放很多Jar包)下[jar包地址](1)数据库连接jar包(2)flume-mysql插件2. 更改flume配置a1.sour...原创 2020-04-14 09:13:01 · 672 阅读 · 0 评论 -
Flume使用详解(四)
flume的Interceptors概述:Flume有能力在运行阶段修改/删除Event,这是通过拦截器(Interceptors)来实现的。拦截器需要实现org.apache.flume.interceptor.Interceptor接口。拦截器可以修改或删除事件基于开发者在选择器中选择的任何条件。拦截器采用了责任链模式,多个拦截器可以按指定顺序拦截。一个拦截器返回的事件列表被传递给...原创 2020-02-20 16:50:34 · 237 阅读 · 0 评论 -
Flume使用详解(三)
在Flume使用中配置相当重要,但也非常简单。在conf目录下,创建一个配置文件,比如:template.conf(名字可以不固定,后缀也可以不固定)相关配置:#配置Agent a1 的组件a1.sources=r1a1.channels=c1 (可以配置多个,以空格隔开,名字自己定)a1.sinks=s1 (可以配置多个,以空格隔开,名字自己定)#描述/配置a1的r1a1....原创 2020-02-20 15:35:05 · 674 阅读 · 0 评论 -
Flume使用详解(二)
Flume的用法flume可以支持多级flume的agent,即flume可以前后相继形成多级的复杂流动,例如sink可以将数据写到下一个agent的source中,这样的话就可以连成串了,可以整体处理了。置多个agent的数据流(多级流动)数据流合并(扇入流)在做日志收集的时候一个常见的场景就是,大量的生产日志的客户端发送数据到少量的附属于存储子系统的消费者agent。例如,从数百个w...原创 2020-02-20 14:28:14 · 240 阅读 · 0 评论 -
Flume使用详解(一)
概述:Flume最早是Cloudera提供的日志收集系统,后贡献给Apache。所以目前是Apache下的项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据。Flume是一个高可用的,高可靠的鲁棒性(robust 健壮性),分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据(source);同时,Flume提供对数据进行简单处理,...原创 2020-02-20 14:16:08 · 718 阅读 · 0 评论