flume-ng agent --conf /root/flume-1.4.0/conf --conf-file  /root/flume-1.4.0/conf/a.conf --name a1 -Dflume.root.logger=INFO,consolecurl -X get -d '[{  "headers" :{"namenode" :  "namenode.example.com"

1.先分析三个LinkedBlockingDeque类型的takeList,putList,queueputList:  存放的是来自source生产的数据,通过调用doPut(Event event)方法,它是如何到queue的,在每次执行doCommit的时候，会循环放到queue，其实doCommit()放法只做了putlist交给queue, synchronized(q

问题一：org.apache.flume.EventDeliveryException:Failed to send events       atorg.apache.flume.sink.AbstractRpcSink.process(AbstractRpcSink.java:382)       atorg.apache.flume.sink.DefaultSinkProcess

public class ExecSource extends AbstractSource implements EventDrivenSource,Configurable关键静态内部类private static class ExecRunnable implements Runnablepublic ExecRunnable(String command, ChannelProce

from http://cat0425.popo.blog.163.com/blog/static/7959643920098177232182/class="ch.qos.logback.core.ConsoleAppender">%d{HH:mm:ss} [%thread] %-5level %logger{80} - %msg%n

hadoop-core-xxx.jarcommons-configuration-xx.jar

from http://dongxicheng.org/mapreduce/hdfs-small-files-solution/小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一

from http://my.oschina.net/duangr/blog/181585#OSC_h1_2前言1.相关环境2.部署规划3.代码获取4.前提依赖4.1 主机环境检查(全部主机节点)4.2 dejavu4.3 rrdtool4.4 apr4.5 libexpat4.6 libpcre4.7 confuse4.8 python5.

from http://blog.csdn.net/wuguangxue255/article/details/11710225对变名日志的处理，对于java工程可以简单修改log4j的配置文件，增加flume配置即可对于非java程序，采取规避的方案，当然如果你足够强大可以重写编译flume代码，自定义一个source type支持，将spoolDir 类型的source加强