Hadoop的shell命令

最新推荐文章于 2024-05-11 17:09:39 发布
最新推荐文章于 2024-05-11 17:09:39 发布
阅读量4.9k 收藏 57
点赞数 5
文章标签： hadoop hdfs big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52879657/article/details/124633808
版权

Hadoop的shell命令

启动Hadoop

1.打开终端，切换hadoop文件夹的sbin目录下，启动Hadoop

./start-all.sh

除了直接执行start-all.sh外，还可以分步启动start-dfs.sh和start-yarn.sh。

2.执行jps，检查一下Hadoop相关进程是否启动

jps

常见的shell命令(与Linux系统命令差不多，但小部分有区别)

Hadoop fs：使用面最广，可以操作任何文件系统
hadoop dfs 与 hdfs dfs：只能操作HDFS文件系统相关（包括与本地上传下载的操作），前者已经Deprecated，一般使用后者。

首先先搞清楚本机文件与hdfs文件系统的文件是不一样的，也就是说没有这些前缀的语句，它显示、新建、删除的路径是不同的。

shell命令的标准样式

hdfs dfs (-shell命令) [-选项] 文件路径(或多个文件路径)

具体shell命令可用help查看

帮助命令 (-help)

命令：hdfs dfs -help  [cmd ...]
命令选项说明
-d显示命令简短的主题描述
-s显示命令简短的语法描述
cmd…需要查询的一个或多个命令

演示操作

hdfs dfs -help

在这里插入图片描述

显示目录信息 (-ls)

命令：hdfs dfs -ls [-C] [-d] [-h] [-R] [-t] [-S] [-r] [-u] [<path> ...]
命令选项说明
-C仅显示文件和目录的路径
-d目录列为普通文件
-h以人类可读的方式格式化文件大小，而不是按字节数
-R递归地列出目录的内容
-t按修改时间对文件排序（最近的第一次）
-S按大小对文件进行排序
-r颠倒排序顺序
-u使用上次访问的时间而不是修改来显示和排序

演示操作
显示hdfs根目录的信息

hdfs dfs -ls /

在这里插入图片描述

由于我们的现在的环境中没有数据，所以显示空白是正常的

创建文件夹(-mkdir)

命令：hdfs dfs -mkdir [-p] <path> ...

通过 mkdir 命令可以实现在指定位置创建以 指定的文件名 命名的文件夹或目录。要创建文件夹或目录的用户必须对所创建的文件夹的父文件夹具有写权限。并且所创建的文件夹(目录)不能与其父目录(即父文件夹)中的文件名重名，即同一个目录下不能有同名的(区分大小写)。还可以设置目录的权限。
  文件或目录的权限又分为3种：只读、只写、可执行。

权限权限数值二进制具体作用
r400000100read，读取。当前用户可以读取文件内容，当前用户可以浏览目录。
w200000010write，写入。当前用户可以新增或修改文件内容，当前用户可以删除、移动目录或目录内文件。
x100000001execute，执行。当前用户可以执行文件，当前用户可以进入目录。

7 = 4 + 2 + 1 读写运行权限
5 = 4 + 1 读和运行权限
4 = 4 只读权限

命令选项说明
-p进行递归创建

演示操作
在hdfs上创建名为test1的文件

hdfs dfs -mkdir /test1

结合刚才的查看命令（-ls），查看刚创建的test1文件

hdfs dfs -ls /

在这里插入图片描述
可以看到我们新建的test1文件

删除文件或文件夹（-rm）

命令：hdfs dfs -rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...
命令选项说明
-f如果文件不存在，不显示诊断消息或修改退出状态以反映错误
-[rR]递归删除目录
-skipTrash删除时不经过回收站，直接删除
-safely需要安全确认

简单的演示操作
删除根目录下的test1文件夹

hdfs dfs -rm -r /test1

结合查看命令，查看是否成功删除

hdfs dfs -ls /

在这里插入图片描述

移动文件或重命名文件（-mv）

命令：hdfs dfs -mv <src> ... <dst>
命令选项说明

演示操作
创建stu1、stu2文件夹，并查看创建好的文件夹

hdfs dfs -mkdir /stu1
hdfs dfs -mkdir /stu2
hdfs dfs -ls /

在这里插入图片描述
在stu1中创建一个名为q.txt的文件夹并查看stu1的文件信息

hdfs dfs -mkdir /stu1/q.txt
hdfs dfs -ls /stu1

在这里插入图片描述
将stu1文件夹中的q.txt文件夹移动到stu2文件夹下，执行后查看stu1和stu2文件夹下的内容

hdfs dfs -mv /stu1/q.txt /stu2
hdfs dfs -ls /stu1
hdfs dfs -ls /stu2

在这里插入图片描述
将stu2下的q.txt文件夹重命名为qqq.txt，执行后查看stu2文件夹下的文件信息验证是否重命名成功

hdfs dfs -mv /stu2/q.txt /stu2/qqq.txt
hdfs dfs -ls /stu2

在这里插入图片描述

复制路径（-cp）

命令：hdfs dfs -cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>
命令选项说明
-f如果目标已存在，则覆盖该目标
-p , -p[topax]保留状态，参数[topax]分别表示（时间戳、所有权、权限、ACL、XAttr），无参数则不保留状态
-d跳过临时文件的创建

演示操作
将stu2文件夹中的qqq.txt文件夹复制到hdfs根目录下，并查看根目录下是否有qqq.txt文件夹

hdfs dfs -cp /stu2/qqq.txt /
hdfs dfs -ls /

在这里插入图片描述

从hdfs复制到本地(-get)

命令：hdfs dfs -get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>
命令选项说明
-f如果目标已存在，则覆盖该目标
-ignoreCrc忽略CRC校验
-crc使用CRC校验

演示操作
将hdfs上stu2文件夹下的qqq.txt文件夹复制到hadoop01本地的/opt目录下，并进入/opt下查看是否复制成功

hdfs dfs -get /stu2/qqq.txt /opt
cd /opt/
ls

在这里插入图片描述

从本地文件系统中复制文件到hdfs文件系统中(-put)

命令：hdfs dfs -put [-f] [-p] [-d] <localsrc> ... <dst>
命令选项说明
-f如果目标已存在，则覆盖该目标
-p保留访问和修改时间、所有权和模式
-d跳过临时文件的创建

演示操作
将本地文件系统中/opt/qqq.txt复制到hdfs的stu1文件夹下，并查看是否复制成功

hdfs dfs -put /opt/qqq.txt /stu1
hdfs dfs -ls /stu1

在这里插入图片描述

统计文件系统的可用空间信息(-df)

命令选项说明
-h以人类可读的方式格式化文件大小，而不是按字节数

演示操作
统计hdfs文件系统的可用信息

hdfs dfs -df -h /

在这里插入图片描述

统计一个指定目录下的文件节点数量(-du)

命令选项说明
-s显示总使用情况，不显示每个独立目录或文件的使用情况
-h以人类可读的方式格式化文件大小，而不是按字节数
-x不计算快照

演示操作

统计hdfs文件系统中stu1文件夹下的文件节点数量

hdfs dfs -du /stu1

在这里插入图片描述

文件权限管理(-chmod)

命令：hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...
命令选项说明
-R递归修改文件
< MODE >模式与用于shell命令的模式相同
< OCTALMODE>数字表示

演示操作
将stu1文件夹下的iris.data文件权限修改为777，并查看修改结果

hdfs dfs -chmod 777 /stu1/qqq.txt
hdfs dfs -ls /stu1

在这里插入图片描述

修改文件（-vi）

命令：hdfs dfs -vi <path>

一、vi的三种工作模式

1、命令模式：是vi的入口，执行定位，翻页，复制，粘贴，删除等操作
   	末行模式：是vi的出口，执行保存、退出等操作
	命令模式：是vi的入口，执行定位，翻页，复制，粘贴，删除等操作	
2、末行模式：是vi的出口，执行保存、退出等操作
	q：退出
	wq：保存并退出
	q!：强制退出（在修改文件但未保存时退出文件，可使用强制退出命令）
	x或wq：保存并退出
3、编辑模式：使用i可进入该模式，使用esc键可退出编辑模式

二、移动

1、上下左右移动
 	h：左移一个字符
	j ：下移一个字符
	k：上移一个字符        
	l：右移一个字符
2、行内移动
	w（word）						向后移动一个单词
	b（back）						向前移动一个单词
	0										移动至行首
	^										移动至第一个非空白字符的行首
	$										移动至行尾    
3、移动至文件顶部				gg
	移动至文件末尾			    G
	 移动到指定行				指定行gg
4、屏幕移动
	Ctrl+b（back）				向上翻页
	Ctrl+f（forward）			向下翻页
	H（high）						移动至屏幕顶部
	M（middle）					移动至屏幕中间
	L（low）						移动至屏幕底部
5、段落移动
	shiift+{							上一段落
	shift+} 							下一段落
	shift+% 						可以匹配及在成对的括号之间切换
6、标记
	ma(mark)						添加标记a，a是a-z或者A-Z中的任意一个字母
	‘a 									直接回到刚刚标记的位置

【注意】：使用同一字母标记的话可以定位多个标记，但是上一个标记的位置a会被新的a覆盖

三、定位到行

1、在文件外时，进入文件并跳转到指定行：
	vi  文件名+指定行数，      
	eg：0.json + 16
2、让每行的前面显示行数：
	vi下，输入:set nu(nu表示number)  
3、跳转到指定行：  
	指定行gg  或输入 :100，      
	eg：100gg或:100即可跳转到文件的第100行

四、撤销和删除

1、撤销
	u(undo)							撤销上次命令，可重复执行至文件原始状态
	Ctrl+r（redo)					可恢复刚刚撤销的命
2、删除
	x(cut)						    删除光标所在字符,可结合数字或%删除多个字符
									eg：5x，%x
	d(delete)  				        删除对应的字符
	dd           					删除光标所在行，
    			  					eg：ndd  删除多行
            			  		    	dnG   从该行删除至第n行
            			 				dw     从光标位置删除至单词末尾
            			  				d0     从光标位置删除至该行起始位置
            			  				d}      从光标位置删除至段落末尾
	D            					删除至行尾

五、复制、粘贴、替换

1、复制&粘贴
	yy(copy)   						复制，nyy可复制多行
	p(paste)    					粘贴
									eg：yy5p     该行复制5遍
              							5yyp     这5行复制1遍
2、替换
	r (replace)						替换当前字符
	R                  				从当前位置开始，用输入的n个字符替换当前光标开始的n个字符
	5R								表示新输入的文本重复5次替换原有位置的字符，后续字符依旧保留

【注意】在其他文件中用Ctrl+c所复制的文件，不可直接用p命令粘贴，需要先进入编辑模式（i）下使用p粘贴
六、选中命令（可视模式）

1、v：可视模式（从光标开始位置到光标结束位置选中）
2、V：可视行模式（只要是光标经过的完整行都会被选中）
3、Ctrl+V：可视块块模式（可垂直方向选中文本）

【注意】可视模式下，可以和移动命令进行连用

七、缩排和重复执行

>>								向右增加缩进
<<								向左增加缩进

【注意】在可视模式下，可选中多行同时进行缩进，只需要一个shift+<或shift+>即可。
. 重复执行上次命令

八、查找

1、常规查找
	/str   						查找str
	n							向下查找下一个
	N							向上查找上一个
2、单词快速匹配
	*							向后查找当前光标所在单词
	#							向前查找当前光标所在单词
3、查找并替换：【格式：%s///g】
	1）全局替换					:%s/旧文本/新文本/g
	2）可视区域替换				:s/旧文本/新文本/g
	3）确认替换（在找到对应字段后，替换时会有提示，确认的时候是一个一个确认的）
								:%s/旧文本/新文本/gc(c表示确认）
	【y表示替换；n表示不替换；a表示全部替换；q表示退出替换；
	l表示最后一个，并把光标移动到行首；ctrl+E表示向下滚屏，Ctrl+Y表示向上滚屏】

九、插入

i			在当前字符前插入文本
I			在行首插入文本
a			在当前字符后面添加文本
A			在行末添加文本
o			在当前行的后面插入一空行
O			在当前行的前面插入一个空行

十、末行命令下：查看目录、创建文件、切换文件、复制文件

进入末行模式中，即：
:e .					浏览当前目录下包含的文件（e表示edit，点表示当前目录）
:e 文件名 		        进入指定文件，可以在一个文件中切换到当前目录下的另一个文件
:n 文件名		        创建文件（n表示new）
:w 文件名		        另存为，将当前文件内容全部写入到一个新的文件中，类似复制，但是编辑操作仍在该文件中，不会切换文件（w表示write）

十一、分屏命令

:sp		    横向增加分屏（split）
:vsp		纵向增加分屏
w				window				切换到下一个窗口
r				reverse				互换窗口（上下交换，或左右交换）
c				close				关闭当前窗口，但是不能关闭最后一个窗口
q				quit				退出当前窗口，若是最后一个窗口，则关闭vi
o				other			    关闭其他窗口

【注意】分屏操作都是基于Ctrl+w这个快捷键，所以以下操作之前都必须先按下Ctrl+w，再按下以下字母即可完成相应操作。

查看具体文件（-cat）

命令：hdfs dfs -cat [-ignoreCrc] <src> ...
命令选项说明
-ignoreCrc忽略CRC校验

本地文件附加到目标文件中(-appendToFile)

命令：hdfs dfs -appendToFile <localsrc> ... <dst>

统计指定路径下，目录数、文件数、字节数(-count)

命令：hdfs dfs -count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] <path> ...
命令选项说明
-q显示配额和配额的使用情况
-h以人类可读的方式格式化文件大小，而不是按字节数
-v显示标题行
-t [< storage type>]按存储类型显示配额,需要与参数-q或-u一起使用
-u显示配额和配额的使用情况，但不显示详细的内容摘要
-x不计算快照

查找目录或文件(-find)

命令：hdfs dfs -find <path> ... <expression> ...

< expression >：
-name 匹配内容
-iname 忽略大小写匹配内容
-print 使当前路径名写入标准输出，后跟换行符
-print0 如果使用-print0表达式，则会附加ASCII空字符，而不是换行符。

创建一个空文件(-touchz)

命令：hdfs dfs -touchz <path> ...
介北烟花
关注
  • 5
    点赞
  • 踩
  • 57
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop Shell命令
weixin_43844908的博客
09-14 146
提示安全模式 mkdir: Cannot create directory /input. Name node is in safe mode. 开关安全模式、查看安全模式状态： hdfs dfsadmin -safemode get //查看状态 hdfs dfsadmin -safemode enter //进入安全模式 hdfs dfsadmin -safemode get //查看状态 hdfs dfsadmin -safemode leave //退出安全模式 hdfs dfsadmi
Hadoop命令详解
mm_ren的博客
05-16 353
1.hadoop命令 目录 1.hadoop命令 2.hdfs命令 常用命令： [hadoop@hadoop001~]$hadoop Usage:hadoop[--configconfdir]COMMAND whereCOMMANDisoneof: fsrunagenericfilesystemuserclient versionprinttheversion 查看hado...
Hadoop Shell常用命令
晓晓的天空
02-24 1889
Hadoop Shell常用命令
Hadoop shell命令
m0_56350931的博客
04-10 364
删除目录：hadoop fs –rm 目录路径 //如果目录不为空需要递归删除，即在-rm后面加-r。上传本地文件：hadoop fs -put 本地文件路径 hdfs目录路径。列出目录和文件：hadoop fs –ls 需要列出的目录路径。移动文件或目录：hadoop fs –mv 文件或目录的路径。查看文件：hadoop fs –cat 要查看的文件路径。创建目录：hadoop fs –mkdir 目录路径。删除文件：hadoop fs –rm 文件路径。基本格式都是 hadoop fs -操作。
【大数据·hadoop】在hdfs上运行shell基本常用命令
最新发布
Yaoyao2024的博客
05-11 1724
在Hadoop生态系统中，supergroup 是一个默认的用户组，通常与HDFS的超级用户（即 Hadoop 的管理员账户，类似于 Unix 系统中的 root 用户）关联。超级用户和属于 supergroup 组的用户通常有着对HDFS上所有文件和目录的全权限，这包括读取、写入和执行权限。
Hadoop框架---HDFS的Shell命令操作
丷江南南的博客
04-27 1952
其有很多命令，但在生产环境中我们经常使用的命令并没有那么多，因此需要时再回头查阅上图中的命令即可。put命令和copyFromLocal命令有着相同的复制效果，所以我们。这里我们把3台服务器各自对应的节点都打开了，为了方便后续测试。在使用shell命令前，一定要确保我们的Hadoop。自由选择以上任意一种语法格式。跳转到Web端的HDFS，处于。
Hadoop基础学习---3、HDFS概述、HDFS的Shell操作、HDFS的API操作
星光不问赶路人，岁月不负有心人
05-21 905
Hadoop基础学习---3、HDFS概述、HDFS的Shell操作、HDFS的API操作
Hadoop Shell命令速查表.pdf
05-17
hadoop shell 命令速查表，大数据 shell 使用方向，重在使用和操作，希望对大家学习和工作有所帮助。
hadoop shell命令
07-12
介绍hadoop的基本shell命令用法
hadoop-completion:用于 Bash 完成的 hadoop shell 命令自动完成脚本
07-06
Hadoop Shell 命令自动完成用法与您每天使用的 Bash 自动完成类似，按两次TAB键： TAB TAB 。无需安装获取脚本，假设您将其保存到~/bin/hadoop-completion.sh ： curl ...
Hadoop大数据-HDFS的Shell操作
晴风拂面，消融严寒
03-25 1064
上一节，讲解了HDFS的原理，以及相关的hadoop系统安装文档，参考文档可以轻松的搭建好，Hadoop伪分布式集群环境，这一节主要讲解一下如何操作HDFS，及HDFS文件的存储方式。本章对HDFS的常见操作方法做了简单介绍，掌握需要结合实际操作过程，实验操作手册请在下载专区下载。
【Hadoop】HDFS的常见shell操作
ccql's Blog
01-18 1876
本文主要介绍了HDFS的常见shell操作，包含查询指定路径信息、上传和下载文件、浏览文件、创建文件夹、删除操作以及综合应用等。
Hadoop中HDFS的Shell操作（开发重点）、启动Hadoop集群、基本语法、常用命令实操、命令大全、-help、-mkdir、-moveFromLocal、-copyFromLocal
Redamancy06的博客
08-10 1640
-help：-mkdir：-moveFromLocal：-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去、-put：等同于copyFromLocal，生产环境更习惯用put、-appendToFile：追加一个文件到已经存在的文件末尾、-copyToLocal：从HDFS拷贝到本地、-get：等同于copyToLocal，-ls: -cat：-chgrp、-chmod、-chown：-mkdir：-cp：-mv：-tail：-rm：-rm -r：-du：-setrep：......
Hadoop学习笔记系列：02-Hadoop-Hdfs的shell命令的常用操作
05-26 877
文章目录hdfs的dfs shell常用命令操作hdfs dfs命令的所有操作权限相关操作文件相关操作上传本地文件到hadoop的dfs文件系统将文件从hadoop的hdfs文件系统下载到本地新建文件:touch查找文件:find查看文件内容文件重命名:mv删除文件:rm清空文件内容直到指定的长度：truncate + 文件大小目录相关操作创建目录 mkdir删除目录 rmdirhdfs 的常用命令查看hadoop的版本信息:hdfs version获取hadoop的配置信息 hdfs的dfs shell常
hadoop安装与配置-shell脚本一键安装配置（集群版）
zcs2312852665的博客
12-08 781
本文介绍了在Hadoop集群中安装和配置Hadoop的过程。通过使用Shell脚本一键安装，我们下载了指定版本的Hadoop，并将其安装到指定目录。随后，我们配置了Hadoop的核心、HDFS、MapReduce和YARN等关键参数。最后，我们启动了Hadoop集群，并通过浏览器访问了HDFS和YARN的Web界面。通过本文的指导，您可以轻松地搭建和配置Hadoop集群，为大规模数据处理提供强大的分布式计算能力。
Hadoop大数据技术-hdfs的shell命令
m0_74394367的博客
03-13 427
熟悉使用hdfs的shell命令 1、在Downloads目录下创建a.txt,文件内容为：hello 2、在hdfs中创建031701目录 3、将a.txt通过put上传到031701目录 4、将hdfs中的a.txt删除 5、将a.txt通过copyFromLocal上传到031701目录 6、在Downloads目录下创建b.txt,文件内容为：hadoop 7、将b.txt追加到hdfs中的a.txt中 8、查看hdfs中的a.txt 9、查看031701目录中的文件
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值