HDFS常用操作命令练习

最新推荐文章于 2024-03-07 10:43:32 发布
最新推荐文章于 2024-03-07 10:43:32 发布
阅读量1.5k 收藏 9
点赞数 3
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiaobiao/article/details/105250652
版权

练习在全分布式模式下启动了HDFS集群以及YARN集群

我的HDFS主节点配置在master，YARN管理主节点配置在slave1上

一、启动HDFS
在master主机下：

cd /opt/apps/hadoop-2.7.3/sbin
start-dfs.sh

如果是第一次启动需要先格式化

hdfs namenode -format

二、启动YARN集群
在slave1主机下

cd /opt/apps/hadoop-2.7.3/sbin
start-yarn.sh

三、命令练习
在主节点master上进行(其他节点也可以)：
web端打开master:50070查看我们的操作结果是否和预期一样
1、创建文件夹：hadoop fs -mkdir /目录名
例如：我们在根目录下创建一个文件夹opt

hadoop fs -mkdir /opt

由于我们这个集群式新建的，所以里面根目录下没有文件，我们在这里多创建几个文件夹，方便后面练习使用

hadoop fs -mkdir /home

跟linux创建目录一样我们一样可以使用-p来实现创建子目录的同事创建上级目录

hadoop fs -mkdir -p /suport/install

如果不写-p就会提示，没有suport这个目录
2、查看HDFS目录：hadoop fs -ls 目录路径
例如：查看根目录

[root@master sbin] hadoop fs -ls /
Found 3 items
drwxr-xr-x   - root supergroup          0 2020-04-01 15:54 /home
drwxr-xr-x   - root supergroup          0 2020-04-01 15:54 /opt
drwxr-xr-x   - root supergroup          0 2020-04-01 15:55 /suport

同样如果需要递归显示文件夹下的所有文件/目录那么在后面加-R

[root@master sbin] hadoop fs -ls -R /
drwxr-xr-x   - root supergroup          0 2020-04-01 15:54 /home
drwxr-xr-x   - root supergroup          0 2020-04-01 15:54 /opt
drwxr-xr-x   - root supergroup          0 2020-04-01 15:54 /opt/data
drwxr-xr-x   - root supergroup          0 2020-04-01 15:55 /suport
drwxr-xr-x   - root supergroup          0 2020-04-01 15:55 /suport/install

3、上传文件：hadoop fs -put 文件HDFS目录

[root@master data] vi a.txt
[root@master data] hadoop fs -put a.txt /opt/data

在这里插入图片描述
4、下载文件：hadoop fs -get HDFS文件 本地文件
hadoop fs -copyToLocal HDFS文件 本地文件

[root@master data] hadoop fs -get /opt/data/a.txt b.txt
[root@master data] ll
总用量 8
-rw-r--r--. 1 root root 73 4月   1 16:06 a.txt
-rw-r--r--. 1 root root 73 4月   1 16:14 b.txt
drwxr-xr-x. 4 root root 30 3月  31 17:25 dfs
drwxr-xr-x. 5 root root 57 4月   1 16:13 nm-local-dir
[root@master data]# cat b.txt 
chakabhdfsxitonggenmuluxiadesuoyouwenjianbaokuowenjianjialimiandewenjian

下载到指定文件，如果指定文件没有，会自动创建
方法2：

[root@master data] hadoop fs -copyToLocal /opt/data/a.txt c.txt
[root@master data] ll
总用量 12
-rw-r--r--. 1 root root 73 4月   1 16:06 a.txt
-rw-r--r--. 1 root root 73 4月   1 16:14 b.txt
-rw-r--r--. 1 root root 73 4月   1 16:16 c.txt
drwxr-xr-x. 4 root root 30 3月  31 17:25 dfs
drwxr-xr-x. 5 root root 57 4月   1 16:15 nm-local-dir

合并下载：

[root@master data] hadoop fs -getmerge /opt/data/a.txt /home/c.txt plus.txt
[root@master data] ll
总用量 16
-rw-r--r--. 1 root root  73 4月   1 16:06 a.txt
-rw-r--r--. 1 root root  73 4月   1 16:14 b.txt
-rw-r--r--. 1 root root  73 4月   1 16:16 c.txt
drwxr-xr-x. 4 root root  30 3月  31 17:25 dfs
drwxr-xr-x. 5 root root  57 4月   1 16:19 nm-local-dir
-rw-r--r--. 1 root root 146 4月   1 16:21 plus.txt
[root@master data] cat plus.txt 
chakabhdfsxitonggenmuluxiadesuoyouwenjianbaokuowenjianjialimiandewenjian
chakabhdfsxitonggenmuluxiadesuoyouwenjianbaokuowenjianjialimiandewenjian

5、复制文件（从HDFS的一个路径复制到HDFS的另一个路径）
hadoop fs -cp 源路径 目标路径

[root@master data] hadoop fs -cp /home/c.txt /opt/data/

在这里插入图片描述
6、移动文件
在HDFS中移动文件

hadoop fs -mv /opt/data/a.txt /home/

在这里插入图片描述
在这里插入图片描述
7、删除操作
hadoop fs -rm 要删除的文件

[root@master data] hadoop fs -rm /home/c.txt
20/04/01 16:33:40 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.
Deleted /home/c.txt

删除空文件夹
先建一个空文件夹

hadoop fs -mkdir /opt/data/null

hadoop fs -rmdir /opt/data/null

8、从本地剪切文件到HDFS上

hadoop fs -moveFromLocal plus.txt /opt/data/

在这里插入图片描述
9、追加文件

[root@master data]# hadoop fs -appendToFile x.txt /opt/data/c.txt
[root@master data]# hadoop fs -get /opt/data/c.txt apaend.txt
[root@master data]# cat apaend.txt 
chakabhdfsxitonggenmuluxiadesuoyouwenjianbaokuowenjianjialimiandewenjian
zhuijia

可见该操作是在将x.txt中的内容追加到c.txt内容之后
10、查看文件内容

[root@master data]# hadoop fs -cat /opt/data/c.txt
chakabhdfsxitonggenmuluxiadesuoyouwenjianbaokuowenjianjialimiandewenjian
zhuijia

11、改变文件所属组
hadoop fs -chgrp [-R] 目标用户组 文件/目录路径
注意：如果刚启动集群，会有短暂的安全模式，不能进行修改用户组操作

hadoop fs -chgrp hadoopgroup /opt/data/

在这里插入图片描述
12、改变文件的权限
使用方法：hadoop fs -chmod [-R] 权限模式 文件/目录路径

hadoop fs -chmod 777 /opt/data/plus.txt

变更前：644
变更前权限
变更后：777
在这里插入图片描述
13、改变文件拥有者
hadoop fs -chown [-R] 拥有者：所属组 文件/目录路径
改变前：
在这里插入图片描述
改变后：
在这里插入图片描述
14、显示目录下所有文件的大小
使用方法：hadoop fs -du 目录路径

[root@master sbin]# hadoop fs -du /opt/data/
81   /opt/data/c.txt
146  /opt/data/plus.txt

显示单个文件的大小

[root@master sbin]# hadoop fs -dus /opt/data/c.txt
dus: DEPRECATED: Please use 'du -s' instead.
81  /opt/data/c.txt

15、清空回收站

hadoop fs -expunge

HDFS回收站默认是关闭的,需要开启需要我们自己在core-site.xml里面配置

 <property>  
      <name>fs.trash.interval</name>  
      <value>1440</value>  
 </property>

开启回收站后我们在HDFS上面删除的内容会在本地的一个目录重命名暂时存储一段时间，这段时间内我们可以可以通过-mv命令进行恢复
16、改变一个文件的副本系数
hadoop fs -setrep -w 3 [-R] 文件路径

[root@master current]# hadoop fs -setrep -w 4 /opt/data/c.txt
Replication 4 set: /opt/data/c.txt
Waiting for /opt/data/c.txt .... done

改变副本数前：
在这里插入图片描述
改变后：
在这里插入图片描述
17、将尾部的1k字节的内容标准输出
使用方法：hadoop fs -tail [-f] 文件路径

[root@master current]# hadoop fs -tail /opt/data/plus.txt
chakabhdfsxitonggenmuluxiadesuoyouwenjianbaokuowenjianjialimiandewenjian
chakabhdfsxitonggenmuluxiadesuoyouwenjianbaokuowenjianjialimiandewenjian

18、文件、目录检测
使用方法：hadoop fs -test -[ezd] 文件/目录路径
-e（exist）检查文件是否存在
-z（zero）检查文件是否0字节
-d（dir）检查路径是否是目录

19、查看集群的工作状态

hdfs dfsadmin -report
[root@master hadoop-2.7.3]# hdfs dfsadmin -report
Configured Capacity: 105149632512 (97.93 GB)
Present Capacity: 95158509568 (88.62 GB)
DFS Remaining: 95158378496 (88.62 GB)
DFS Used: 131072 (128 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (4):

Name: 192.168.180.101:50010 (slave2)
Hostname: slave2
Decommission Status : Normal
Configured Capacity: 18238930944 (16.99 GB)
DFS Used: 36864 (36 KB)
Non DFS Used: 2665152512 (2.48 GB)
DFS Remaining: 15573741568 (14.50 GB)
DFS Used%: 0.00%
DFS Remaining%: 85.39%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Wed Apr 01 18:52:15 CST 2020


Name: 192.168.180.102:50010 (slave3)
Hostname: slave3
Decommission Status : Normal
Configured Capacity: 18238930944 (16.99 GB)
DFS Used: 28672 (28 KB)
Non DFS Used: 2665164800 (2.48 GB)
DFS Remaining: 15573737472 (14.50 GB)
DFS Used%: 0.00%
DFS Remaining%: 85.39%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Wed Apr 01 18:52:15 CST 2020


Name: 192.168.180.100:50010 (slave1)
Hostname: slave1
Decommission Status : Normal
Configured Capacity: 18238930944 (16.99 GB)
DFS Used: 28672 (28 KB)
Non DFS Used: 2223280128 (2.07 GB)
DFS Remaining: 16015622144 (14.92 GB)
DFS Used%: 0.00%
DFS Remaining%: 87.81%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Wed Apr 01 18:52:15 CST 2020


Name: 192.168.180.88:50010 (master)
Hostname: localhost
Decommission Status : Normal
Configured Capacity: 50432839680 (46.97 GB)
DFS Used: 36864 (36 KB)
Non DFS Used: 2437525504 (2.27 GB)
DFS Remaining: 47995277312 (44.70 GB)
DFS Used%: 0.00%
DFS Remaining%: 95.17%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Wed Apr 01 18:52:14 CST 2020
叔叔不会写代码
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【大数据】操作练习（一）HDFS Shell指令
张林克的博客
07-14 379
pass
HDFS实例基本操作
07-02
在安装好HDFS的前提下，此项目包含HDFS的基本操作，上传，下载，创建文件夹等。
大数据技术基础实验报告-HDFS常用操作命令.doc
08-21
大数据技术基础实验报告-HDFS常用操作命令
厦门大学-林子雨-大数据技术基础-第3章 分布式文件系统HDFS-上机练习-熟悉常用的HDFS操作
11-20
熟悉常用的HDFS操作 （1） 理解HDFS在Hadoop体系结构中的角色； （2） 熟练使用HDFS操作常用的Shell命令； （3） 熟悉HDFS操作常用的Java API。
Hadoop：HDFS学习巩固——基础习题及编程实战
Liu_y_xin的博客
02-01 1466
4.分布式文件系统HDFS采用了主从结构模型，由计算机集群中的多个节点构成的，这些节点分为两类，一类存储元数据叫（）？A.把文件名发送给名称节点，根据文件名在名称节点上找到数据块的实际存储信息，客户端再到数据节点上获取数据。9.数据节点负责数据的存储和读取,每个数据节点中的数据会被保存在()。C 存储元数据的是主节点/名称节点，存储具体数据的是从节点/数据节点。C.数据节点在名称节点的统一调度下进行数据块的创建、删除和复制等操作。B.把文件名发送给数据节点，根据文件名直接在数据节点上获取数据。
HDFS文件操作命令与HDFS编程
04-10
文档详细的讲述了Hadoop中HDFS文件操作命令和HDFS编程
分布式文件系统HDFS 练习
weixin_30675967的博客
05-27 397
1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input”目录 2.文件操作 使用vim编辑器，在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件：姓名.txt...
HDFS常见命令练习（二）
最新发布
fly66666666的博客
03-07 350
按顺序执行以下操作1.在hdfs中创建文件夹：/itcast/test，如存在请删除（跳过回收站）2.上传/etc/hosts文件到hdfs的/itcast/test内3.查看hdfs中刚刚上传的文件内容4.向hdfs中上传的文件追加：test到最后一行5.下载hdfs中上传的文件到本地任意目录6.在hdfs中创建文件夹：/itcast/bigdata，将/itcast/test/hosts文件复制到/itcast/bigdata内。
HDFS Shell命令练习
大头皮鞋的博客
03-21 4148
前提条件 拥有hadoop2环境，可参考：CentOS7安装hadoop2.7.3伪分布式 步骤 hdfs常用的操作命令是dfs命令。 查看hdfs dfs所有命令 [hadoop@node1 ~]$ hdfs dfs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-che
云计算与大数据实验三 HDFS的基本操作
qq_64314976的博客
12-30 2258
确保当前输入法在英文状态下后，按下小写i键，按下后如下图标红处所示出现--INSERT--字符，表示已经进入文档编辑模式，可以编辑该文档了。确保当前输入法在英文状态下后，按下小写i键，按下后如下图标红处所示出现--INSERT--字符，表示已经进入文档编辑模式，可以编辑该文档了。确保当前输入法在英文状态下后，按下小写i键，按下后如下图标红处所示出现--INSERT--字符，表示已经进入文档编辑模式，可以编辑该文档了。文件主要是指定元数据存储目录，数据存储目录，指定备份 Namenode 节点。
Hadoop之HDFS常用操作基础练习（五）
初心的博客
11-10 7045
详细命令截图 链接：http://note.youdao.com/noteshare?id=dc935930fbd57ba608665204cc15edaa 内容整理于笔记 集群规划： ☛Hadoop的高可用完全分布模式中有HDFS的主节点和数据节点、MapReduce的主节点和任务节点、数据同步通信节点、主节点切换控制节点总共6类服务节点， 其中 HDFS的主节点、MapReduce的主节点...
linux递归持续复制目录,为什么在Linux中复制目录时需要-r递归？
weixin_35285276的博客
04-28 922
在文件系统的工作方式中，目录实际上不是包含文件的文件夹，而是目录是包含指向与其连接的“子”文件的inode指针的文件。这意味着，从文件系统的角度来看，文件是文件，但是目录只是包含连接文件列表的文件。因此，从命令行角度来看，请执行以下操作：$ cp dir1 copyDir1基本上是指将名为的文件复制到名为dir1的新文件copyDir1。就文件系统而言，dir1无论如何只是一个文件。只有当文件系统...
大数据练习题.docx
12-14
一些大数据的习题，关于基础知识和HDFS,MapReduce的 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
HDFS常用Shell命令
01-07
本篇文章只是简单阐述一下HDFS中常用命令, 在实际开发中可使用 bin/hadoop fs查看命令详情 使用HDFS基本语法: bin/hadoop fs OR bin/hdfs dfs 注:为帮助快速理解并使用本文中使用T表示target 基本命令 1.启动...
HDFS常用Shell命令.md
08-07
HDFS常用Shell命令，基础篇
实验2 熟悉常用的HDFS操作
10-13
实验目的 （1）理解HDFS在Hadoop体系结构中的角色； （2）熟练使用HDFS操作常用的Shell命令； （3）熟悉HDFS操作常用的Java API。
hive初始化失败报错：Error: Duplicate key name ‘PCS_STATS_IDX‘ (state=42000,code=1061)
qiaobiao的博客
07-06 7877
意思是key name ‘PCS_STATS_IDX’ (state=42000,code=1061)重复了，问题出在不是第一次初始化，因为我们在hive-site.xml中配置了 javax.jdo.option.ConnectionURL jdbc:mysql://192.168.200.137:3306/metastore?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore 这里初始化的时候就会创建数据库me
hive安装过程中的各种深坑深坑
qiaobiao的博客
08-12 2300
一、Exception in thread “main” java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: KaTeX parse error: Expected '}', got 'EOF' at end of input: …a.io.tmpdir%7D/%7Bsystem:user.name%7D 原因是： <property> <na
使用idea使用远程虚拟机中的hadoop集群进行wordcount练习
qiaobiao的博客
04-03 1557
1、搭建window上的hadoop环境 2、idea上新建一个工程 3、在src目录下的main目录添加resources目录 直接点击resources 4、在resources目录下新建一个log4j.properties文件，并将以下配置信息写入到文件中 log4j.rootLogger=INFO, stdout, D # Console Appender log4j.appende...
HDFS常用shell命令
05-29
HDFS是Hadoop分布式文件系统的缩写，常用的HDFS shell命令包括： 1. hdfs dfs -ls：列出指定路径下的文件和目录信息。 2. hdfs dfs -mkdir：创建指定路径的目录。 3. hdfs dfs -put：将本地文件复制到HDFS上。 4. hdfs dfs -get：将HDFS上的文件复制到本地上。 5. hdfs dfs -rm：删除指定路径的文件或目录。 6. hdfs dfs -mv：将指定路径的文件或目录移动到另一个路径上。 7. hdfs dfs -cat：显示指定路径的文件内容。 8. hdfs dfs -tail：显示指定文件的最后几行内容。 9. hdfs dfs -chmod：修改指定路径的文件或目录的权限。 还有很多其他的HDFS shell命令，以上是常用的一些。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值