Flume 部署注意一

 

Flume 安装

 

1. jdk1.6以上。可修改环境变量.bash_profile

2.需要/tmp目录的读取写入权限。master pid,,node pid生成在此目录

3.安装zookeeper. 注意在datadir目录生成myid数字标识。

4.一般用scp同步数据，需要ssh生成无密码授权文件。

5.winscp上传数据到服务器

6.修改flume-dameon.sh, 日志目录修改

7.修改flume-site.xml 配置数据保存方式，master 序列号，master 等

8.修改conf/log4j日志生成方式。

9. 目录经常需要用root用户修改成flume用户chown flume.flume -R *

5台机器,任意3台做master,任意三个做collector，5个机器还兼作agent,每10分钟入库6G数据，鸭梨山大。