Hadoop常用Shell操作

最新推荐文章于 2024-05-11 17:09:39 发布

酷炜

最新推荐文章于 2024-05-11 17:09:39 发布

阅读量334

点赞数

分类专栏：大数据学习

本文链接：https://blog.csdn.net/qq_42250913/article/details/88851132

版权

大数据学习专栏收录该内容

21 篇文章 0 订阅

订阅专栏

一、普通操作命令：

hadoop fs 适用于任何不同文件系统，比如本地文件系统和HDFS文件系统
hadoop 只能适用于HDFS文件系统
hdfs fs 跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统

常用普通命令：

    1.创建目录
	  -mkdir -p 加上-p表示递归创建目录
			
	2.查看目录    			
	  -ls
	  -ls -R 查看目录和子目录，另一种写法：-lsr		
			
	3.上传数据    			
	   -put
	   -copyFromLocal
	   -moveFromLocal: 相当于ctrl+X（剪切）
			
	4.下载数据
		 -get
		 -copyToLocal
		 -moveToLocal: 相当于ctrl+X（剪切）
			
	5.删除
		-rm：
		参数： -rmr 表示删除目录和子目录
		hdfs dfs -rmr /output
		日志：Deleted /output
	    注意：如果启用回收站，观察日志
			
	6.把某个HDFS的目录下的文件，先合并，再下载
		 -getmerge：
				举例：
					[root@bigdata111 ~]# hdfs dfs -mkdir /students
					[root@bigdata111 ~]# vi student01.txt     
					[root@bigdata111 ~]# vi student02.txt
					[root@bigdata111 ~]# hdfs dfs -put student0*.txt /students
					[root@bigdata111 ~]# hdfs dfs -ls /students
					Found 2 items
					-rw-r--r--   1 root supergroup         19 2018-09-04 04:46 /students/student01.txt
					-rw-r--r--   1 root supergroup         10 2018-09-04 04:46 /students/student02.txt
					[root@bigdata111 ~]# hdfs dfs -getmerge /students /root/a.txt（开始合并）
					[root@bigdata111 ~]# more a.txt 
					
	7. 复制 拷贝HDFS上的文件
		-cp 加上-p表示递归复制目录
		
	8.移动
		-mv 加上-p表示递归移动目录
			
	9.统计HDFS目录下目录个数、文件个数、文件总的大小
		-count		
		显示为目录个数，文件个数，文件总计大小，输入路径 
		[root@bigdata111 ~]# hdfs dfs -count /students
			 1            2                 29 /students
			
    10.显示hdfs对应路径下每个文件夹和文件的大小	hdfs dfs -du /
			19  /students/student01.txt
			10  /students/student02.txt
			
	11.查看文本的内容
		    -text、-cat: 
		    
	12.设置HDFS中文件的副本数量
		    -setrep：hadoop fs -setrep 10 /input/demo.txt
		    
    12.平衡数据
		   	balancer: 如果管理员发现某些DataNode保存数据过多，某些DataNode保存数据相对较少，可以使用上述命令手动启动内部的均衡过程

二、HDFS的管理命令：hdfs dfsadmin *****

常用管理命令：

	1、打印报告：
			[-report [-live] [-dead] [-decommissioning]]
			例：hdfs dfsadmin -report


	2、安全模式 safe mode
		注意：HDFS正常运行的时候，安全模式一定是off（关闭状态）
		      是HDFS的一种自我保护，作用：检查数据块的副本率
			  HDFS处于安全模式，是只读的状态
			  [-safemode <enter | leave | get | wait>]
			管理安全模式的命令
			enter：手动进入安全模式
			leave: 手动离开安全模式
			get: 当前状态
			例：hdfs dfsadmin -safemode get
	
	3、快照：是一种备份，默认：HDFS快照是关闭
		命令：
			管理命令
			[-allowSnapshot <snapshotDir>]
			[-disallowSnapshot <snapshotDir>]
			
			操作命令
			-createSnapshot 目录 快照名称
			
		举例：启用目录的快照功能
		       hdfs dfsadmin -allowSnapshot /input
			   
			  创建快照：
			  hdfs dfs -createSnapshot /input backup_input_20180905_01
			   快照本质：Created snapshot /input/.snapshot/backup_input_20180905_01
			  
			  hdfs dfs -put student0*.txt /input
			  重新创建快照
			  hdfs dfs -createSnapshot /input backup_input_20180905_02
			
 	 4、配额：Quota	
		（1）名称配额: 限定HDFS目录下，存放文件（目录）的个数
			[-setQuota <quota> <dirname>...<dirname>]
			[-clrQuota <dirname>...<dirname>]
			
			举例：
			hdfs dfs -mkdir /myquota1
			规定这个最多存放3个文件（实际：N-1）
			hdfs dfsadmin -setQuota 3 /myquota1
		
		（2）空间配额：限定HDFS目录下，文件的大小 ---> 值必须大于数据块大小（128M）
			[-setSpaceQuota <quota> [-storageType <storagetype>] <dirname>...<dirname>]
			[-clrSpaceQuota [-storageType <storagetype>] <dirname>...<dirname>]
			
			举例：
			hdfs dfs -mkdir /myquota2
			
			规定该目录下的文件空间配额是2M
			hdfs dfsadmin -setSpaceQuota 2M /myquota2

	  5、回收站：默认HDFS的回收站禁用	
	
			-rm：删除
				参数： -rmr 表示删除目录和子目录
				hdfs dfs -rmr /output
				日志：Deleted /output
				注意：如果启用回收站，观察日志

				日志：
				Moved: 'hdfs://bigdata111:9000/folder1' to trash at: hdfs://bigdata111:9000/user/root/.Trash/Current

三、补充（复制尚硅谷课件）

补充一：开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用。

1.回收站参数设置及工作机制
在这里插入图片描述

2.启用回收站
修改core-site.xml，配置垃圾回收时间为1分钟。
<property>
   <name>fs.trash.interval</name>
<value>1</value>
</property>
3.查看回收站
回收站在集群中的路径：/user/atguigu/.Trash/….
4.修改访问垃圾回收站用户名称
	进入垃圾回收站用户名称，默认是dr.who，修改为atguigu用户
	[core-site.xml]
<property>
  <name>hadoop.http.staticuser.user</name>
  <value>atguigu</value>
</property>
5.通过程序删除的文件不会经过回收站，需要调用moveToTrash()才进入回收站
Trash trash = New Trash(conf);
trash.moveToTrash(path);
6.恢复回收站数据
[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -mv
/user/atguigu/.Trash/Current/user/atguigu/input    /user/atguigu/input
7..清空回收站
[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -expunge

补充二：开启快照功能
在这里插入图片描述

案例实操
	（1）开启/禁用指定目录的快照功能
[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -allowSnapshot /user/atguigu/input

[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -disallowSnapshot /user/atguigu/input
	（2）对目录创建快照
[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -createSnapshot /user/atguigu/input
通过web访问hdfs://hadoop102:50070/user/atguigu/input/.snapshot/s…..// 快照和源文件使用相同数据
[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -lsr /user/atguigu/input/.snapshot/
	（3）指定名称创建快照
[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -createSnapshot /user/atguigu/input  miao170508
	（4）重命名快照
[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -renameSnapshot /user/atguigu/input/  miao170508 atguigu170508
	（5）列出当前用户所有可快照目录
[atguigu@hadoop102 hadoop-2.7.2]$ hdfs lsSnapshottableDir
	（6）比较两个快照目录的不同之处
[atguigu@hadoop102 hadoop-2.7.2]$ hdfs snapshotDiff
 /user/atguigu/input/  .  .snapshot/atguigu170508	
	（7）恢复快照
[atguigu@hadoop102 hadoop-2.7.2]$ hdfs dfs -cp
/user/atguigu/input/.snapshot/s20170708-134303.027 /user

酷炜

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Hadoop常用Shell操作

一、普通操作命令：hadoop fs 适用于任何不同文件系统，比如本地文件系统和HDFS文件系统hadoop 只能适用于HDFS文件系统hdfs fs 跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统常用普通命令： 1.创建目录 -mkdir -p 加上-p表示递归创建目录 2.查看目录 -ls -ls -R 查看目录...
复制链接

扫一扫