flume安装及配置

Flume安装

 

介绍

Flume本身的安装比较简单（flume的介绍请参考http://blog.csdn.net/rzhzhz/article/details/7448633），安装前先说明几个概念,先看flume的架构

1.    Flume分三种角色

       Mater:  master负责配置及通信管理，是集群的控制器。

       Collector: collector用于对数据进行聚合，往往会产生一个更大的流，然后加载到storage中。

       Agent: Agent用于采集数据，agent是flume中产生数据流的地方，同时，agent会将产生的数据流传输到collector

2.    Collector和Agent的配置数据必须指定Source（可以理解为数据入口）和Sink（可以理解为数据出口）

常用的source如：

text(“filename”)：将文件filename作为数据源，按行发送

tail(“filename”)：探测filename新产生的数据，按行发送出去

fsyslogTcp(5140)：监听TCP的5140端口，并且接收到的数据发送出去

常用的sink如：

console[("format")] ：直接将将数据显示在桌面上

text(“txtfile”)：将数据写到文件txtfile中

dfs(“dfsfile”)：将数据写到HDFS上的dfsfile文件中

syslogTcp(“host”,port)：将数据通过TCP传递给host节点

具体介绍可以参考

http://blog.csdn.net/rzhzhz/article/details/7457956

http://blog.csdn.net/rzhzhz/article/details/7449662

 

 

安装

1.    下载解压安装

a)    Flume的下载地址http://archive.cloudera.com/cdh/3/

b)