Hadoop升级,CDH3B3 to CDH3U2

只是升级hadoop和Hbase两个组件。

参考的主要是

http://www.iteye.com/topic/515848

http://caibinbupt.iteye.com/blog/283811


分割线---转载部分----
1:运行dfsadmin -upgradeProgress status 检查是否存在备份 如果是第一次升级 就不存在备份
2:备份dfs.namenode.dir下文件
3:停止所有节点 bin/stop-all.sh
4:在所有节点上重新部署hadoop 并替换conf文件夹下所有文件(就是将原有的hadoop-0.19.1更名为hadoop-0.19.1-oldverstion,然后解压hadoop-0.19.2.tar.gz 将0.19.2中的conf文件替换为0.19.1中的conf文件夹)
注意:HADOOP_HOME设置;fairscheduler.jar包要从contri中转移到lib下
并且要对照修改hadoop-site.xml中的路径指定是否正确
5:使用 bin/start-dfs.sh -upgrade 进行升级
6:运行一段时间后 没有问题 再 执行升级终结操作bin/hadoop dfsadmin -finalizeUpgrade
7:升级完成

---分割线,以上为转载----

没有什么特殊的,
目前看还算顺利,没有发现问题,能偶list hdfs文件,能够查看hbase里的表。


CDH3u2 to CDH3u3
hadoop升级可能需要几十分钟。(5T数据花了30分钟),
升级期间,NameNode会不停的抛出异常:
2012-03-18 20:16:54,675 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hadoop (auth:SIMPLE) cause:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot renew lease for DFSClient_hb_rs_baby4,60020,1330072681169_1330072683523. Name node is in safe mode.
The reported blocks 190809 has reached the threshold 0.9990 of total blocks 190809. Safe mode will be turned off automatically in 0 seconds.
2012-03-18 20:16:54,675 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 54310, call renewLease(DFSClient_hb_rs_baby4,60020,1330072681169_1330072683523) from 10.1.1.24:38327: error: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot renew lease for DFSClient_hb_rs_baby4,60020,1330072681169_1330072683523. Name node is in safe mode.


DataNode cpu会有很大占用,但是没有打印任何日志。
DataNode更新完毕后,会告知NameNode。然后集群就可以使用了。

在整个更新期间,我查看更新状态:hadoop dfsadmin -upgradeProgress details
显示居然是更新完成,
Upgrade for version -19 has been completed.
Upgrade is not finalized.
有可能是不需要更新?所以显示更新完成?占用cpu只是扫描了一遍所有的block?
具体不知道,
反正等的很苦闷,还以为出问题了。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值