Hadoop HDFS常用命令配图文

最新推荐文章于 2024-08-13 17:25:44 发布
置顶 最新推荐文章于 2024-08-13 17:25:44 发布
阅读量854 收藏 2
点赞数 1
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42534801/article/details/100587011
版权

详细 Hadoop HDFS命令 图文并茂

​ 介绍在“终端”程序中使用的HDFS命令，对HDFS进行操作，以及Hadoop HDFS Web 接口。

在这里插入图片描述

HDFS命令格式如下：

Hadoop fs -命令

命令在master虚拟机的“终端”程序中运行

命令说明
hadoop fs -mkdir创建 HDFS 目录
hadoop fs -ls列出 HDFS 目录
hadoop fs -copyFromLocal使用 -copyFromLocal 复制本地（local）文件到 HDFS
hadoop fs -put使用 -put 复制本地（local）文件到 HDFS
hadoop fs -cat列出 HDFS 目录下的文件内容
hadoop fs -copyToLocal使用 -copyToLocal 将 HDFS 上的文件复制到本地（local）
hadoop fs -get使用 -get 将 HDFS 上的文件复制到本地（local）
hadoop fs -cp复制 HDFS 文件
hadoop fs -rm删除 HDFS 文件

启动 Hadoop Multi-Node Cluster

1、启动所有虚拟服务器

首先必须要启动所有虚拟服务器master、data1、data2、data3.

在这里插入图片描述

2、进入master虚拟服务器，启动 Hadoop Mulit-Node Cluster
2.1 启动Hadoop Mulit-Node Cluster
start-all.sh

在这里插入图片描述

创建与查看 HDFS 目录

1、创建 HDFS 目录
1.1 创建user目录
hadoop fs -mkdir /user
1.2 在user目录下创建hduser子目录
hadoop fs -mkdir /user/hduser
1.3 在hduser目录下创建test子目录
hadoop fs -mkdir /user/hduser/test
2、查看用户 HDFS 目录
2.1 查看之前创建的 HDFS 目录
hadoop fs -ls
2.2 查看 HDFS 完整目录

​ 在“终端”程序中输入下列命令，查看之前创建的完整 HDFS 目录。因为hadoop fs -ls只能查看一级目录，所以必须逐级查看。

2.2.1 查看 HDFS 根目录

hadoop fs -ls /

2.2.2 查看 HDFS 的 /user 目录

hadoop fs -ls /user

2.2.3 查看 HDFS 的 /user/hduser 目录

hadoop fs -ls /user/hduser

在这里插入图片描述

2.3 查看所有 HDFS 子目录

​ HDFS 提供了一个方便的选项，我们可以加上 -R ，R代表recursive（递归）。

2.3.1 一次查看所有子目录

hadoop fs -ls -R /

在这里插入图片描述

2.4 一次创建所有 HDFS 子目录

​ 当我们创建目录时，如果要逐级地创建也很麻烦，所以 HDFS 提供了 -p 选项，可以帮助用户一次创建多级目录。

2.4.1 创建多级 HDFS 目录

hadoop fs -mkdir -p /dir1/dir2/dir3

2.4.2 查看所有 HDFS 子目录

hadoop fs -ls -R /

在这里插入图片描述

从本地计算机复制文件到 HDFS

在这里插入图片描述

1、复制本地（local）文件到 HDFS

使用下列命令复制本地（local）文件到 HDFS：

1.2 复制本地文件到 HDFS 的目录
hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/hduser/test
1.2 复制本地文件到 HDFS 的目录的 test1.txt
hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/hduser/test/test1.txt
1.3 列出 HDFS 目录下的文件
 hadoop fs -ls /user/hduser/test

在这里插入图片描述

2、 列出 HDFS 目录下的文件
2.1 列出 HDFS 目录下的文件内容
hadoop fs -cat /user/hduser/test/README.txt

在这里插入图片描述

上述命令会一次列出所有文件内容。如果文件太大，可以加上“|more”，一页一页地显示。

hadoop fs -cat /user/hduser/test/README.txt|more
3、复制重复文件到 HDFS 目录

​ 当我们复制本地文件到 HDFS 目录时，如果文件已经存在，系统会回复“File exists”，即文件已经存在，将不会复制。

hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/hduser/test

在这里插入图片描述

4、强制复制重复文件到 HDFS 目录

如果文件已经存在，此时可以加入-f选择（f是force，有强制的意思）

4.1 强制复制文件
hadoop fs -copyFromLocal -f /usr/local/hadoop/README.txt /user/hduser/test

在这里插入图片描述

5、复制多个本地文件到 HDFS 目录
5.1 同时复制 NOTICE.txt 与LICENSE.txt 到 HDFS 目录 /user/hduser/test
hadoop fs -copyFromLocal /usr/local/hadoop/NOTICE.txt /usr/local/hadoop/LICENSE.txt /user/hduser/test
5.2 复制整个本地计算机的目录 /user/local/hadoop/ect 到 HDFS 目录 /user/hduser/test
hadoop fs -copyFromLocal /user/local/hadoop/ect /user/hduser/test
5.3 列出在 HDFS 目录下的文件
hadoop fs -l /user/hduser/test

在这里插入图片描述

6、查看目录下所有文件
6.1 列出 HDFS 目录/user/hduser/test/ect 下的所有文件
 hadoop fs -ls -R  /user/hduser/test/etc

在这里插入图片描述

7、使用 put 复制文件到 HDFS 目录

使用“-put”选项复制文件到 HDFS 目录。使用“-put”与“-copyFromLocal”的不同之处是：如果文件存在，系统不会显示文件存在，而会直接覆盖。

7.1 使用put复制文件到HDFS目录，会直接覆盖文件
hadoop fs -put /usr/local/hadoop/README.txt /user/hduser/test/test2.txt

另外一个使用 -put 与 -copyFromLocal 的不同之处是：“-put”可以接收 stdin（标准输入）。

7.2 将原本显示在屏幕上的内容存储到 HDFS 文件
echo abc | hadoop fs -put - /user/hduser/test/echoin.txt

​ echo abc 原本是要显示在屏幕上的内容，现在通过“|”（pipe管道）符号传递给 hadoop 的命令，并且存储到 HDFS 目录下的文件 echoin.txt中。

7.3 显示在 HDFS 中 echoin.txt 文件内容
hadoop fs -cat /user/hduser/test/echoin.txt
7.4 使用 put 命令将本地目录的列表存储到 HDFS 文件

7.4.1 将本地目录的列表存储到 HDFS 文件

ls /usr/local/hadoop | hadoop fs -put  - /user/hduser/test/hadooplist.txt

​ 原本 ls /usr/local/hadoop 命令会把本地目录的列表在屏幕上，通过“|”符号（pipe管道）传递给了 Hadoop 命令，所以最后会存储到 HDFS 目录下的 hadooplist.txt 文件中。

7.4.2 显示 HDFS 中 hadooplist.txt 文件的内容
hdoop fs -cat /user/hduser/test/hadooplist.txt

在这里插入图片描述

将 HDFS 上的文件复制到本地计算机

在这里插入图片描述

1、将 HDFS 上的文件复制到本地计算机（local）
1.1 在本地计算机创建test测试目录
mkdir test
1.2 切换到test目录
cd test
1.3 将 HDFS 的文件复制到本地计算机
hadoop fs -copyToLocal /user/hduser/test/hadooplist.txt
1.4查看本地目录
ll

在这里插入图片描述

2、将 HDFS 上的目录复制到本地计算机
2.1 将整个 HDFS 上的目录复制到本地计算机
hadoop fs -copyToLocal /user/hduser/test/etc
3、 hadoop fs -get 复制到本地计算机（local）
3.1 将 HDFS 上的文件复制到本地计算机（local）
hadoop fs -get /user/hduser/test/README.txt localREADME.txt

复制与删除 HDFS 文件

在这里插入图片描述

1、复制 HDFS 文件
1.1 在 HDFS 上创建测试目录 /user/hadoop/test/temp
hadoop fs -mkdir /user/hduser/test/temp
1.2 复制 HDFS 文件到 HDFS 测试目录
hadoop fs -cp /user/hduser/test/README.txt /user/hduser/test/temp

复制 HDFS 文件 /user/hduser/test/README.txt 到 HDFS 测试目录 /user/hadoop/test/temp

1.3 查看 HDFS 测试目录
hadoop fs -ls /user/hduser/test/temp

在这里插入图片描述

2、删除 HDFS 文件
2.1 先查看准备要被删除的文件
hadoop fs -ls /user/hduser/test
2.2 删除 HDFS 文件
hadoop fs -rm /user/hduser/test/test2.txt

在这里插入图片描述

3、删除 HDFS 目录
3.1 查看准备要被删除的 HDFS 目录
hadoop fs -ls  /user/hduser/test
3.2 删除 HDFS 目录
hadoop fs -rm -R /user/hduser/test/etc

在这里插入图片描述

在 Hadoop HDFS Web 用户界面浏览 HDFS

在这里插入图片描述

1、浏览 Hadoop HDFS Web 界面查看 HDSF
网址说明
http://master:50070Hadoop HDFS Web 界面网址
2、输入完整的目录路径来查看文件
/dir1/dir2/dir3
3、查看 HDFS 文件的完整信息

在这里插入图片描述

4、下载 HDFS 文件

在这里插入图片描述

结论：

本篇主要是介绍了 Hadoop HDFS 分布式存储，并且在实际计算机上操作了 HDFS 常用命令。

er:50070 | Hadoop HDFS Web 界面网址 |

2、输入完整的目录路径来查看文件
/dir1/dir2/dir3
3、查看 HDFS 文件的完整信息

在这里插入图片描述

4、下载 HDFS 文件

在这里插入图片描述

结论：

本篇主要是介绍了 Hadoop HDFS 分布式存储，并且在实际计算机上操作了 HDFS 常用命令。

六月随风
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop HDFS 实现原理图文详解
程序员光剑
11-28 1万+
一、HDFS体系结构1.1 HDFS 简介Hadoop分布式文件系统(HDFS) 是运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed Fi...
Hadoop（四）HDFS 读写流程
qq_41620635的博客
02-17 2076
HDFS 的读写流程   HDFS 将文件切割为默认大小的块（block）存放在不同的 DataNode上；   上传文件和读取文件时 HDFS 重要的流程； HDFS 的写文件流程 图文解释：   1、Client 连接 HDFS ，发送上传文件的请求；   2、NameNode 响应请求，对文件进行校验；校验成功后返回要存放文件的 block 所对应的 DataNode 的信息列表；     列如：       block01：dataNode1、dataNode2       block02：da
【hdfs 常用命令】数据put到hdfs
热门推荐
赖德发的博客
05-23 2万+
# 下载 hdfs dfs -getmerge /user/hive/warehouse/tempon.db/tl_text_center /home/admin/t1_subject.txt # 建外部表 drop table tempon.text_anti_brush_info create external table if not exists tempon.text_an...
Hadoop 之 HDFS命令
2201_75364488的博客
05-11 1754
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个核心组件，它是一个高度容错性的分布式文件系统，设计用于在廉价硬件上存储大规模数据集。HDFS的架构采用主从（Master/Slave）结构模型，包含一个。
HDFS命令详解
weixin2006的博客
08-19 1474
hdfs命令： ls 格式：hdfs dfs -ls path 作用：类似于linux的ls命令，显示文件列表 hdfs dfs -ls / lsr 格式：hdfs dfs -lsr path 作用：在整个目录下递归执行ls，与lunix中的ls -R 类似 hdfs dfs -lsr / mkdir 格式：hdfs dfs [-p] -mkdir path 作用：创建目录，-p表示可以递归创...
HDFS 相关脚本命令
m0_53157282的博客
09-25 895
以上介绍了一些常用的 HDFS 命令行工具及其用法，包括hdfs客户端和 WebHDFS 客户端。熟练掌握这些命令，可以方便地管理和操作 HDFS 中的数据。当然，除了命令行工具外，还有许多其他的方式来与 HDFS 进行交互，例如 Java API、Python API 等，读者可以根据自己的需求选择相应的方式。
HDFS常用命令
最新发布
weixin_46356409的博客
08-13 1057
显示 HDFS 文件系统的磁盘空间使用情况。：显示 HDFS 文件系统的磁盘空间使用情况。：统计目录中的文件数、目录数和空间使用情况。目录下的所有文件和子目录的磁盘使用情况。：测试文件、目录或符号链接的存在性和类型。：将 HDFS 文件复制到本地文件系统。：将 HDFS 文件移动到本地文件系统。目录中的文件数、目录数和空间使用情况。：删除 HDFS 上的文件或目录。：显示目录或文件的磁盘使用情况。：将本地文件上传到 HDFS。：显示 HDFS 文件的内容。：将本地文件移动到 HDFS。
Hadoop之NameNode Federation图文详解
08-26
Hadoop之NameNode Federation图文详解 Hadoop的NameNode Federation是HDFS（Hadoop Distributed File System）中的一种架构设计，旨在解决NameNode的扩展性、隔离性和性能问题。本篇文章将对NameNode Federation的...
HA-Hadoop集群搭建教程(图文+视频)1
08-04
2. `core-site.xml`：配置HDFS的默认名称节点（defaultFS）为HA集群，指定临时文件目录（hadoop.tmp.dir），以及设置IO缓冲区大小（io.file.buffer.size）。 3. `hdfs-site.xml`：设置数据块大小（dfs.block.size）...
Hadoop 2.3.0分布式集群搭建图文.doc
03-11
- **格式化命令**：在master节点上执行`hdfs namenode -format`命令来格式化HDFS。 #### 六、启动集群 ##### 1. 启动集群 - **启动服务**：在master节点上执行`start-dfs.sh`和`start-yarn.sh`命令来启动Hadoop...
大数据笔记 | HDFS 常用操作命令
码农UP2U
11-16 8793
HDFS 是 Hadoop Distributed File System 的简写，即 Hadoop 分布式文件系统。它是 Hadoop 项目的核心子项目，它为大数据分布式计算提供了海量数据的存储与管理。 既然 HDFS 是文件系统，那么它必然有一套对文件管理的命令，这里介绍一下 HDFS 常用的文件管理命令。 一、HDFS 命令前缀 所有操作 HDFS 的命令都需要前缀，它的前缀有两种，分别是 hadoop fs 或 hdfs dfs ...
HDFS常用的文件操作命令
火麒马
12-31 1265
HDFS常用的文件操作命令 文件操作 查看文件命令 ls 命令 # 查看hdfs根目录 hdfs dfs -ls / # 查看hdfs其它目录(/user/zhang) hdfs dfs -ls /user/zhang du 命令 hdfs dfs -du /user/zhang 查看里面文件大小(# 将字节自动转化成单位) hdfs dfs -du -h /user/...
【小白视角】大数据基础实践(三)HDFS的简单基本操作_使用客户端节点执行hdfs dfs -put文件上传至hdfs很慢(2)
2401_84166965的博客
04-13 626
在r>=3并且floor(r/2)>=n或者r>n(前提是文件是 hflushed/appended)时添加新的DN。// 将hdfs中的文件读入。if (string.equals(“exit”)) { //如果输入是exit就退出。if (s.equals(“1”)) { //如果选择了1的话，就是自己输入。if (s.equals(“2”)) { //如果是2的话就直接添加。
【小白视角】大数据基础实践(三)HDFS的简单基本操作_使用客户端节点执行hdfs dfs -put文件上传至hdfs很慢
2401_84181253的博客
04-08 1236
HDFS（Hadoop Distributed File System）分布式文件系统，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。兼容廉价的硬件设备流数据读写大数据集简单的文件模型强大的跨平台兼容性不适合低延迟数据访问无法高效存储大量小文件不支持多用户写入及任意修改文件。
Hadoop--HDFS
Fangxingt的博客
05-03 878
1.启动HDFS2.Shell命令包括hadoop fs hadoop dfs hdfs dfs查看fs支持的命令3.目录操作创建用户目录./bin/hdfs dfs –mkdir –p /user/hadoop列出当前目录所有内容 ./bin/hdfs dfs –ls .4.文件操作使用如下命令./bin/hdfs dfs -put /home/hadoop/myLocalFile.txt i...
HDFS文件上传异常分析：put: `test.txt': No such file or directory
欢迎来到李奇峰的数据世界
05-09 1万+
问题描述 Linux上传本地文件到HDFS中时，出现“No such file or directory” 但是你发现当前文件夹下此文件是存在的 这个时候你也许担心会不会是文件权限的问题，因为我们在使用hdfs命令时，切换到了hdfs用户，但是当前文件所属的用户与用户组为root，于是我们在将此文件的用户与用户组修改为hdfs再试一下 可以看到，还是报同样的错误，然后又按照同样的方法将此文件所在文件夹的用户与用户组修改为了hdfs，还是不行 解决方法 将此文件所在文件夹的用户与用户组修改为hdfs后，
HDFS 常用命令
weixin_30713953的博客
07-31 325
参考文档：http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/FileSystemShell.html Hadoop createSnapshot和deleteSnapshot命令,请戳一下链接： createSnapshot和deleteSnapshot 注意： 以下指令均是在，Linux 命令...
copyFromLocal 异常 DataNode启动不了
流浪的虾壳
04-27 1285
copyFromLocal: File /user/apple/test.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
hdfs dfs -put_通过HDFS中的`hdfs dfs -put`命令行上传文件时，如何设置一个文件的复制因子？...
cuma2369的博客
07-28 1万+
hdfs dfs -putWhen uploading a file by the hdfs dfs -put command line in HDFS, how to set a replication factor instead of the global one for that file? 通过HDFS中的hdfs dfs -put命令行上传文件时，如何为该文件设置复制因子而不是全局因子...
Hadoop HDFS常用命令详解：创建、管理与复制
本文档概述了Hadoop中一些常用的HDFS命令，对于Hadoop开发者和管理员来说，这些命令是日常操作的基础。 1. 创建HDFS目录： - `hdfs dfs -mkdir /path/to/directory`: 在HDFS的根目录下创建一个新的目录，如`/zr`。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值