hadoop集群部署注意问题

2019独角兽企业重金招聘Python工程师标准>>>

1、namenode 或datanode 被迫升级。

1）降级namenode，缺点：需要停止服务，不确定性因素太多（降级可能会导致所有数据丢失），测试周期长且复杂；优点：只要操作一个节点

2）升级所有的datanode，缺点：需要操作集群所有机器（也可以只升级单台机器）；优点：测试简单，风险小

很明显，第二种方案是优选方案，测试过程如下：

1）找一台采集服务器，上面已经部署了hadoop客户端，启动datanode，成功，日志信息显示版本为：203.1

2）删除build目录，再次启动datanode，失败

3）恢复build目录，再次启动datanode，成功

4）将build目录拷贝到出错的datanode上，修改hdfs-site.xml配置，将data目录修改为新建目录，启动datanode，成功

5）将data目录修改为最原始的配置，启动datanode，成功

第二种方案测试成功，在namenode上运行fsck命令，正常输出。

于是升级整个集群，到目前为止，集群运行正常。

转载于:https://my.oschina.net/u/1169079/blog/201407