本文详细介绍了HDFS增加和删除节点的两种方法，包括静态和动态方式，以及HDFS数据压缩的原理和策略。在增加节点时，涉及停止和启动namenode、修改slaves文件以及执行平衡命令。删除节点则通过dead或decommission方式进行。此外，讨论了HDFS数据压缩的几种方法，推荐在DFSClient层面实现压缩以提高效率。
为了保证效率和质量，每篇文章发布6个知识点，由简单及难，我们从HDFS开始：
1）如何杀死一个job
hadoop job –list
./hadoop job -kill job_201212111628_11166
2）删除hdfs 上的/tmp/xxx目录
hadoop dfs -rm /user/cl/temp/a.txt
hadoop dfs -rmr /user/cl/temp3 ）加入一个新的存储节点和删除一个计算节点，需要刷新集群状态命令，怎么操作
HDFS增加节点
方式1：静态添加datanode，停止namenode方式
1.停止namenode
2.修改slaves文件，并更新到各个节点
3.启动namenode
4.执行Hadoop balance命令。（此项为balance集群使用，如果只是添加节点，则此步骤不需要）--
方式2：动态添加datanode，不停namenode方式
1.修改slaves文件，添加需要增加的节点host或者ip，并将其更新到各个节点
2.在datanode中启动执行启动datanode命令。命
最低0.47元/天 解锁文章
扫一扫
1345
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
