Hadoop集群使用

Hadoop集群使用

⚫ Hadoop启动和关闭-单节点模式

➢ 1 、启动虚拟机

在资料中已经提供好了单台虚拟机，

为 node1(192.168.52.161)

➢ 2 、使用 Termius 连接虚拟机

➢ 3 、集群一键启动和关闭

• 一键启动大数据环境

/onekey/my-start-all.sh

• 一键关闭大数据环境

/onekey/my-stop-all.sh Hadoop集群使用

⚫ Hadoop页面访问-集群模式

➢ 4 、 查看启动进程 -jps

[root@node1 bin]# jps

2976 RunJar

2881 JobHistoryServer

2692 NodeManager

2262 DataNode

2583 ResourceManager

2123 NameNode

2413 SecondaryNameNode

13726 Jps

2975 RunJar

HDFS的Shell命令

⚫ Shell命令介绍

➢ 安装好 hadoop 环境之后，可以执行 hdfs 相关的 shell 命令对 hdfs 文件系统进行操作，比如文件的创建、删除、修改文

件权限等。

➢ 对 HDFS 的操作命令类似于 Linux 的 shell 对文件的操作，如 ls 、 mkdir 、 rm 等。

Hadoop提供了文件系统的 shell 命令使用格式如下：

hadoop fs <args>

或者

hdfs dfs <args> HDFS的Shell命令

⚫ ls命令

-ls

格式： hadoop fs -ls URI

作用：类似于 Linux 的 ls 命令，显示文件列表

hadoop fs -ls / # 显示文件列表

hadoop fs –ls -R / # 递归显示文件列表 HDFS的Shell命令

⚫ mkdir命令

格式 ： hadoop fs –mkdir [-p] <paths>

作用 : 以 <paths> 中的 URI 作为参数，创建目录。使用 -p 参数可以递归创建目

录

应用 :

hadoop fs -mkdir /dir1

hadoop fs -mkdir -p /aaa/bbb/ccc HDFS的Shell命令

⚫ mv命令

格式 ：

hadoop fs -mv <src> <dst>

作用：

将 hdfs 上的文件从原路径 src 移动到目标路径 dst, 该命令不能夸文件系统

应用：

hadoop fs -mv /dir1/1.txt /dir2 HDFS的Shell命令

⚫ rm命令

格式：

hadoop fs -rm [-r] [-skipTrash] URI [URI 。。。 ]

作用：

删除参数指定的文件和目录，参数可以有多个，删除目录需要加 -r 参数

如果指定 -skipTrash 选项，那么在回收站可用的情况下，该选项将跳过回收站而直接删除文件；

否则，在回收站可用时，在 HDFS Shell 中执行此命令，会将文件暂时放到回收站中。

应用 :

hadoop fs -rm /initial-setup-ks.cfg # 删除文件

hadoop fs -rm -r /dir2 # 删除目录 HDFS的Shell命令

⚫ cp命令

格式 :

hadoop fs -cp <src> <dst>

作用：

将文件拷贝到目标路径中

应用：

hadoop fs -cp /dir1/1.txt /dir2 HDFS的Shell命令

⚫ cat命令

格式 :

hadoop fs -cat <filepath>

作用：

将参数所指示的文件内容输出到控制台

应用：

hadoop fs -cat /dir1/1.txt HDFS的Shell命令

⚫ put命令

格式 ：

hadoop fs -put <localsrc > ... <dst>

作用 ：

将单个的源文件或者多个源文件 srcs 从本地文件系统上传到目标文件系统中。

应用：

hadoop fs -put /root/1.txt /dir1 # 上传文件

hadoop fs –put /root/dir2 / # 上传目录 HDFS的Shell命令

⚫ get命令

格式 :

hadoop fs -get <src> <localdst>

作用：

将 HDFS 文件拷贝到本地文件系统。

应用 :

hadoop fs -get /initial-setup-ks.cfg /opt 总结

总结

1. 了解hdfs的架构

2. 掌握hdfs的shell命令