Hadoop常用命令--《大数据基础教程》

Hadoop常用命令

[镜像详情]

bdhadoop介绍：

主节点信息：

1. 操作系统：CentOS7.5

2. 软件包位置：/home/zkpk/tgz

3. 数据包位置：/home/zkpk/experiment

4. 已安装软件：JDK1.8.1、Hadoop2.7.3

从节点信息：

1. 操作系统：CentOS7.5

2. 软件包位置：/home/zkpk/tgz

3. 数据包位置：home/zkpk/experiment

4. 已安装软件：JDK1.8.1、Hadoop2.7.3

从节点信息：

1. 操作系统：CentOS7.5

2. 软件包位置：/home/zkpk/tgz

3. 数据包位置：/home/zkpk/experiment

4. 已安装软件：JDK1.8.1、Hadoop2.7.3

1、实验描述

• 熟悉HDFS的命令行接口

2、实验环境

• 虚拟机数量：3
• 系统版本：Centos 7.5
• Hadoop版本：Apache Hadoop 2.7.3

3、相关技能

• 熟悉Linux操作系统，Hadoop原理
• HDFS命令行接口

4、知识点

• HDFS命令行接口

5、实验步骤

5.1进入虚拟机并启动Hadoop集群

5.1.1在master启动Hadoop集群

[zkpk@master ~]$ start-all.sh

5.1.2在master上运行jps，确认NameNode, SecondaryNameNode, ResourceManager进程启动

5.1.3在slave01上运行jps，确认DataNode, NodeManager进程启动

5.1.4在slave02上运行jps，确认DataNode, NodeManager进程启动

5.2练习hdfs命令行接口

5.2.1列出目录及文件命令

5.2.1.1hadoop fs –ls为固定的命令，-ls用来指定咱们要列出文件，path参数指定需要列出列表的父路径。path取值如果在前边加上/的话是从HDFS的根目录下开始列，否则从HDFS上的用户目录/user/username/开始列。

[zkpk@master ~]$ hadoop fs -ls <path>

5.2.2递归列出目录及文件

5.2.21hadoop fs –ls -R为固定的命令，-ls -R用来指定咱们要递归查看的文件，path参数指定需要列出列表的父路径 。

[zkpk@master ~]$ hadoop fs -ls  -R <path>

5.2.3创建目录

5.2.3.1hadoop fs –mkdir为固定的命令，–mkdir用来指定创建的文件目录命令，path参数指定创建目录路径，注意，不能创建级联目录。

[zkpk@master ~]$ hadoop fs -mkdir  <path>

5.2.4上传文件，有两种方式

5.2.4.1hadoop fs -put 为固定的命令，\参数指定上传文件及其本地路径，\参数指定文件上传到HDFS的路径

[zkpk@master ~]$ hadoop  fs -put <src> <des>

5.2.4.2hadoop fs - copyFromLocal为固定的命令，\参数指定上传文件及其本地路径，\参数指定文件上传到HDFS的路径

[zkpk@master ~]$ hadoop  fs -copyFromLocal <src> <des>

5.2.5从hdfs上传下载文件

5.2.5.1hadoop fs -get \ ；des为HDFS上的文件的绝对路径，src为本地要把下载的文件存放的位置

[zkpk@master ~]$ hadoop fs -get  <des>  <src>

5.2.5.2hadoop fs -copyToLocal \ ；命令copyToLocal后边必须跟两个参数，第一个是HDFS上的文件的绝对路径，第二个是本地要存档下载文件的路径，必须存在，否则报错

[zkpk@master ~]$ hadoop fs -copyToLocal  <src>  <des>

5.2.6删除HDFS上的文件

5.2.6.1hadoop fs –rm \ ;rm命令后边必须跟要查看的文件的路径，路径必须存在，否则报错。如果需要递归删除某个文件夹下所有的文件夹和目录，使用rmr命令就可以了。

[zkpk@master ~]$ hadoop fs -rm <path>[zkpk@master ~]$ hadoop fs -rmr <path>

6、总结

HDFS虽然是Hadoop的一个组件，但同时HDFS本身也是独立的，并不依赖与MapReduce运行环境，可以作为一个独立的分布式文件系统来使用。我们可以同过HDFS的命令行接口进一步认识HDFS。