![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flume
muyingmiao
这个作者很懒,什么都没留下…
展开
-
Flume初识与部署
介绍Apache Flume 用于移动大规模批量流数据到 HDFS 系统。从Web服务器收集当前日志文件数据到HDFS聚集用于分析,一个常见的用例是Flume。Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据。Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有...原创 2019-09-19 21:00:26 · 148 阅读 · 0 评论 -
Flume的单Agent配置案例
1.先看一个简单的入门案例,通过官网:http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.15.1/FlumeUserGuide.htmlflume的配置文件为 simple.cof:# 定义agenta1.sources = r1a1.sinks = k1a1.channels = c1#定义sourcea...原创 2019-09-20 02:19:26 · 410 阅读 · 0 评论 -
Flume的多Agent配置案例及load balance和fali over
1.多source到一agentagent1 -> agent3agent2 -> agetn3Avro Source可以定制avro-client发送一个指定的文件给Flume agent,Avro源使用Avro RPC机制,Flume主要的RPC Source也是 Avro Source,它使用Netty-Avro inter-process的通信(IPC)协议来通信,因此...原创 2019-09-20 10:43:31 · 488 阅读 · 0 评论 -
flume的调优
flume优化问题1. 调优主要同三大组件入手 1.1 sources 文件:taildir filegroups,目录下文件多,要拆开,对不同的文件增加filegroup的个数 ,可以提高吞吐量 batchsize:调整每次发送的lines(event)(10000 - 50000) 网络:avro 1....原创 2019-09-20 11:01:45 · 675 阅读 · 0 评论 -
Flume 自定义Source、Sink和Interceptor
1. 自定义sourcehttp://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.15.1/FlumeDeveloperGuide.html#source一个简单的自定义sourcepackage com.wxx.bigdata.hadoop.mapreduce.flume;import org.apache.flume.C...原创 2019-09-20 20:56:43 · 253 阅读 · 0 评论 -
Flume报错:Space for commit to queue couldn't be acquired Sinks are likely not keeping
今天在做Flume项目时,遇到一个错误Caused by: org.apache.flume.ChannelException: Space for commit to queue couldn't be acquired Sinks are likely not keeping up with sources, or the buffer size is too tight ...原创 2019-09-21 11:42:05 · 1684 阅读 · 1 评论