1、
配置时间同步
/etc/crontab
00 07 * * * root /usr/sbin/ntpdate 60.28.210.10
host映射配置
/etc/hosts
10.0.8.18 namenode-c2.hadoop.maxthon.cn #hadoop命名空间
10.0.8.38 sync-38.maxthon.cn #38服务器搜集客户端
10.0.8.39 sync-39.maxthon.cn #39服务器搜集客户端
10.0.8.40 sync-40.maxthon.cn #40测试搜集客户端
2、安装jdk
目前采用最新版本jdk1.7.0
安装包为:jdk-7-linux-x64.rpm
安装路径为:/usr/java/java1.7.0
rpm -ivh jdk-7-linux-x64.rpm
添加环境变量
export JAVA_HOME=/usr/java/java1.7.0
source /etc/profile
3、安装chukwa
目前版本:chukwa-0.4.0
安装包为:chukwa-0.4.0.tar.gz
安装路径:/usr/local/cdh3u1/chukwa
tar -zxf chukwa-0.4.0.tar.gz
mv chukwa-0.4.0 /usr/local/cdh3u1/
添加环境变量
export CHUKWA_HOME=/usr/local/cdh3u1/chukwa-0.4.0
4、配置chukwa客户端
chukwa-env.sh 主要添加java_home环境变量
collectors 添加chukwa日志接受服务器
chukwa-agent-conf.xml 主要配置chukwa agent信息
[#]直接登录10.0.8.18通过scp拷贝即可,注意需要拷贝hadoop目录
5、在chukwa服务器端添加agent列表
6、启动chukwa客户端
chukwa agent
telnet localhost 9093
list
add cn_sync.maxthon.cn_10.0.8.38_tail=filetailer.CharFileTailingAdaptorUTF8 cn_sync.maxthon.cn_10.0.8.38 /data/logs/xxx/chukwa.log 0
add cn_sync.maxthon.cn_10.0.8.38_recover=DirTailingAdaptor cn_sync.maxthon.cn_10.0.8.38 /data/logs/recover/ filetailer.CharFileTailingAdaptorUTF8 0
40上日志切割脚本
sudo /data/mx_dsync_serv/script/mx_log_turn.sh /data/logs/sync.maxthon.cn/ false 0 10 10.0.8.40
【注:如果不是系统用户,需要有sudo权限,用sudo安装】
/etc/crontab
00 07 * * * root /usr/sbin/ntpdate 60.28.210.10
host映射配置
/etc/hosts
10.0.8.18 namenode-c2.hadoop.maxthon.cn #hadoop命名空间
10.0.8.38 sync-38.maxthon.cn #38服务器搜集客户端
10.0.8.39 sync-39.maxthon.cn #39服务器搜集客户端
10.0.8.40 sync-40.maxthon.cn #40测试搜集客户端
2、安装jdk
目前采用最新版本jdk1.7.0
安装包为:jdk-7-linux-x64.rpm
安装路径为:/usr/java/java1.7.0
rpm -ivh jdk-7-linux-x64.rpm
添加环境变量
export JAVA_HOME=/usr/java/java1.7.0
source /etc/profile
3、安装chukwa
目前版本:chukwa-0.4.0
安装包为:chukwa-0.4.0.tar.gz
安装路径:/usr/local/cdh3u1/chukwa
tar -zxf chukwa-0.4.0.tar.gz
mv chukwa-0.4.0 /usr/local/cdh3u1/
添加环境变量
export CHUKWA_HOME=/usr/local/cdh3u1/chukwa-0.4.0
4、配置chukwa客户端
chukwa-env.sh 主要添加java_home环境变量
collectors 添加chukwa日志接受服务器
chukwa-agent-conf.xml 主要配置chukwa agent信息
[#]直接登录10.0.8.18通过scp拷贝即可,注意需要拷贝hadoop目录
5、在chukwa服务器端添加agent列表
6、启动chukwa客户端
chukwa agent
telnet localhost 9093
list
add cn_sync.maxthon.cn_10.0.8.38_tail=filetailer.CharFileTailingAdaptorUTF8 cn_sync.maxthon.cn_10.0.8.38 /data/logs/xxx/chukwa.log 0
add cn_sync.maxthon.cn_10.0.8.38_recover=DirTailingAdaptor cn_sync.maxthon.cn_10.0.8.38 /data/logs/recover/ filetailer.CharFileTailingAdaptorUTF8 0
40上日志切割脚本
sudo /data/mx_dsync_serv/script/mx_log_turn.sh /data/logs/sync.maxthon.cn/ false 0 10 10.0.8.40
【注:如果不是系统用户,需要有sudo权限,用sudo安装】