hadoop集群环境部署之chukwa

1、tar -zxvf chukwa-0.4.0.tar.gz
cp -r chukwa-0.4.0 /usr/local/cdh3u1/
  
2、 修改profile文件
export CHUKWA_HOME=$CLOUDER_HOME/chukwa-0.4.0
3、 修改配置文件
chukwa-env.sh 主要配置hadoop的jar包位置,JAVA_HOME,HADOOP_HOME,CHUKWA_PID_DIR,CHUKWA_LOG_DIR,JAVA_LIBRARY_PATH
collectors 注意是host:port格式的collector列表
chukwa-collector-conf.xml 主要配置文件系统和目录
agents 日志收集客户端 日志搜集客户端列表,如果用start-all.sh|start-agents.sh则会启动所有客户端
chukwa-agent-conf.xml
initial_adaptors 配置默认的adaptors 奇怪iostat命令没有

4、 chukwa version可以查看版本信息 如果提示hadoop-*-core。jar不存在,参考最后提示.
5、 要将hadoop-core*.jar 文件拷贝到lib目录下,才能用./bin/start-agents.sh 启动agent
6、start-collectors.sh 默认启动8080端口.在collects中配置
http://namenode-c2.hadoop.maxthon.cn:9090/chukwa?ping=true 可以看到页面信息

Date:1314171233587
Now:1314171235352
numberHTTPConnection in time window:0
numberchunks in time window:0
lifetimechunks:0

7、hicc【还未配置成功,bug太多】
需要配置数据库属性jdbc.conf
chukwa hicc 默认监听8080端口
chukwa hicc stop
8、如果要运行start-data-postprocess.sh 的话,需要将/jackson-all.jar拷贝至相应路径
9、运行命令
start-all.sh
stop-all.sh
start-agents.sh
stop-agents.sh

如果遇到不能停止服务的时候,需要修改chukwa文件中kill -1 pid为kill -TERM pidfile 或者kill -15

提示:
如果start-collector.sh和start-agents.sh的时候提示/usr/local/cdh3u1/hadoop-home下面找不到hadoop-*-core.jar包,
修改chukwa-env.sh文件中得#export HADOOP_JAR=${HADOOP_HOME}/build/hadoop-*-core.jar

chukwa默认配置有四个监听系统负载的adapter,调用系统命令,但是有的版本系统没有预装命令,可按如下方式安装

yum install sysstat
安装iostat  sar
【备注:】

kill常用信号

    编号            名称             描述
    1     HUP   Hang up
    2     INT   Interrupt
    3     QUIT  Stop running
    9     KILL  Unconditionally terminate
    11    SEGV  Segment violation
    15    TERM  Terminate if possible
    17    STOP  Stop unconditionally, but don't terminate
    18    TSTP  Stop or pause, but continue to run in background
    19    CONT  Resume exectuion after STOP or TSTP
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值