Hadoop入门基础（五）：Hadoop 常用 Shell 命令一网打尽，提升你的大数据技能！

1. Hadoop 基本命令

1.1 查看版本信息

hadoop version

用于检查 Hadoop 的版本信息以及编译信息。

1.2 启动和停止 Hadoop 集群

start-dfs.sh
start-yarn.sh
stop-dfs.sh
stop-yarn.sh

start-dfs.sh 和 stop-dfs.sh 分别用于启动和停止 HDFS，而 start-yarn.sh 和 stop-yarn.sh 用于管理 YARN 服务。

1.3 格式化 HDFS

hdfs namenode -format

首次安装 Hadoop 后，需要格式化 HDFS。这会清除所有数据，因此仅在初次设置或重置集群时执行。

2. HDFS 相关命令

2.1 HDFS 目录与文件管理

• 列出目录内容：

  hdfs dfs -ls /path/to/directory

• 创建新目录：

  hdfs dfs -mkdir /path/to/new_directory

• 上传文件到 HDFS：

  hdfs dfs -put /local/path/to/file /hdfs/path/to/destination

• 从 HDFS 下载文件：

  hdfs dfs -get /hdfs/path/to/file /local/path/to/destination

• 删除文件或目录：

  hdfs dfs -rm /hdfs/path/to/file
  hdfs dfs -rm -r /hdfs/path/to/directory
  

2.2 查看文件内容

hdfs dfs -cat /hdfs/path/to/file

用于查看HDFS中文件的内容。

2.3 文件系统检查

hdfs fsck /

检查 HDFS 的健康状况，显示文件、块和副本的分布信息。

3. MapReduce 相关命令

3.1 运行 MapReduce 示例程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output

运行 Hadoop 提供的示例程序，这里以 wordcount 为例。

3.2 查看 MapReduce 作业状态

hadoop job -status job_id

用于查询作业的当前状态。

4. YARN 相关命令

4.1 列出所有运行中的应用

yarn application -list

列出所有当前正在 YARN 上运行的应用程序。

4.2 杀死 YARN 应用

yarn application -kill application_id

停止指定的 YARN 应用程序。

4.3 查看应用程序日志

yarn logs -applicationId application_id

获取特定应用程序的日志信息。

5. 其他常用命令

5.1 查看 Hadoop 集群报告

hdfs dfsadmin -report

显示 HDFS 集群的整体健康状况和配置状态。

5.2 安全模式操作

• 进入安全模式：

  hdfs dfsadmin -safemode enter

• 离开安全模式：

  hdfs dfsadmin -safemode leave

• 查看安全模式状态：

  hdfs dfsadmin -safemode get

总结

以上命令涵盖了日常使用 Hadoop 时最常见的操作，掌握这些命令可以帮助你更轻松地管理和维护 Hadoop 集群。通过熟练使用这些命令，你将能够更加自信地应对各种 Hadoop 相关的任务。