Flume部署及配置

Flume Agent介绍：

　　　　　　　　
Flume Agent 连接：

Flume 聚合：

Flume 多路：

Flume Load Balance

用户行为日志采集

Nginx 日志采集

首先一定要明确
flume一般企业搭建是两层：第一层是采集层、第一层是聚合层。
比如这样的架构。

具体，怎么部署呢？
第一种情况（flume只部署在一台机器上）
1、对于flume在单节点上部署，比如有些刚入门只能在单节点的hadoop或spark集群上玩玩。或者，你有3台或5台的hadoop或spark集群，但是呢，你把flume只安装在master节点。如果做了高可用，则是在master1上等。

Flume部署安装详细图文步骤(单节点)
单个flume的agent部署：

第二种情况（flume部署在cloud003和cloud004两台机器上）
（集群是cloud1(master1）、cloud2（备master）、cloud3、cloud4、cloud5)
Flume部署安装详细图文步骤(2节点)
过程：
　　cloud3从本地文件里去采集数据 –>　source 、channle、sink –> cloud4的source -> channle -> cloud4的sink -> cloud1的hdfs上
图一：

图二：

　
第三种情况（flume部署在hadoop2和haoop3两台机器上）
（集群是hadoo1(master）、hadoop2（slave1）和hadoop3(slave2))
hadoop1、hadoop2和hadoop3的三节点集群。

同时适用于：

第四种情况（flume部署在master、slave1和slave2三台机器上）
集群是master、slave1和slave2

同时，对于flume的aengt配置文件，即flume-conf.properties。压根可以不做任何修改和配置：

　　
因为每个项目有自己的agent所以agent的配置跟着项目走。也就是说，flume压缩包那边的配置文件，是不需做任何修改，换句话说是，不固定化，为了更好适应各个项目自己的agent！