yydcj的专栏

（说明，名词对应解释 源-Source，接收器-Sink，通道-Channel）  配置   设置代理          Flume代理配置存储在本地配置文件。这是一个文本文件格式，是Java属性文件格式。在相同的配置文件，可以指定一个或多个代理的配置。配置文件包括每个源，接收器和通道，把它们连接在一起，形成数据流。   配置

Flume NG 1.x 是Flume 0.9.x的重构版本，基本面目全非了，Master和zookeeper没有了，collector没有了，Web console没有了，只有source （avro：很简单使用；exec：使用shell命令）sink （我用的hdfs）channl这3个组件，俨然从一个分布式系统变成了传输工具。新的架构如下：

原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://shitouer.cn/2013/01/hadoop-hbase-snappy-setup-final-tutorial/ 因为产品需要，这两天研究了一下Hadoop Snappy。先不说什么各个压缩算法之间的性能对比，单是这个安装过程，就很痛苦。网上有很多博友写H

Installing CDH3https://ccp.cloudera.com/display/CDHDOC/CDH3+Installationwget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo -O /etc/yum.repos.d/cloudera.repo yum search hadoopyum -

载自品友互动：http://www.ipinyou.com.cn/technicalnews/201112/Technical_6.htmlETL(Extraction, Transformation, and Load)是基于日志数据挖掘中的重要环节。现在Hadoop用于日志ETL的工具主要有Facebook的Scribe，Apache的Chukwa和Cloudera的Flume等等。

在今年的5月22号，Flume-ng 1.5.0版本正式发布，关于Flume-ng 1.5.0版本的新特性可以参见本博客的《Apache Flume-ng 1.5.0正式发布》进行了解。关于Apache flume-ng 1.4.0版本的编译可以参见本博客《基于Hadoop-2.2.0编译flume-ng 1.4.0及错误解决》。本文将讲述如何用Maven编译Apache flume-ng