维护的命令
- start-all.sh/stop-all.sh:启动/关闭所有,包括 nodeName、dataNode、secordaryNode、resourcManage(yarn),不过,这两个命令已经废弃了,所谓长江后浪推前浪,下面来看一下新秀命令
- stop-dfs.sh/start-dfs.sh:启动/关闭 nodeName、dataNode、secordaryNode
- stop-yarn.sh/start-yarn.sh:启动/关闭资源管理器
- 最后,不要忘记 jps 命令,来查看 nodeName、dataNode 是否启动
Hadoop 的 shell 命令
hdfs 文件系统 shell 命令式模拟 Linux 的系统,所以会 Linux 的文件相关的命令就会 hdfs 的命令。在官方的文档里面即可查看。官方hdfs shell
遇到的几个问题
hadoop datanode -format
此命令只是格式化 datanode 的节点的工作目录,而没有初始化 DataNode 的节点。所以在 DataNode 节点的服务器上是看不到 DataNode 的初始化文件的。在初始化的过程中,会生成 blockPoolId、clusterId 的标识,然后 DataNode 初始化后,会将 nameNode 的这两个 ID 复制到自己的工作目录中。如果在 namenode 重新初始化后,DataNode 中的 ID 就失效了。
还有个问题,我先是按照 Hadoop 默认的配置是伪集群,回来才配置的集群,所以使用start-dfs.sh
命令一直启动不了 namenode,最后,我重新运行hadoop datanode -format
就还了。