大数据学习——hadoop基础操作命令（三）

1、hdfs的日志文件：

tmp/name/current下面 

查看日志信息，使用Hadoop的自己的命令（因为是二进制文件)

1)edit操作日志文件

hdfs oev -i (edit文件名）-o /root/a.xml(这个是转化成的文件具体路径）

2)元信息文件

hdfs oiv -i fsimage(元信息文件名）-o 转化的路径 -p XML

转化成功后都可以通过cat 进行查看

2、hdfs基础命令

1）、hadoop根目录文件夹默认是空的，新建目录test19

[root@bigdata121 logs]# hdfs dfs -mkdir /test19

2）、查看根目录下文件夹与文件

[root@bigdata121 logs]# hdfs dfs -ls /

查看根目录与子目录

[root@bigdata121 logs]# hdfs dfs -ls -R / 

或者[root@bigdata121 logs]# hdfs dfs -lsr /

3）、上传数据

[root@bigdata121 scytest]# hdfs dfs -put /root/scytest/tt01.txt /

如果报错：put: File /tt01.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 2 datanode(s) running and 2 node(s) are excluded in this operation.  需要将防火墙关闭，datanode对应的服务器的防火墙

[root@bigdata121 scytest]# hdfs dfs -copyFromLocal /root/scytest/tt01.txt /test0
有三种上传命令，-put、 -copyFromLocal、 -moveFromLocal

4）、下载数据

[root@bigdata121 scytest]# hdfs dfs -get /tt01.txt /root/scytest/download/
有三种下载命令，-get、 -copyToLocal、 -moveToLocal

5)删除数据

-rm、 -rmr递归删除

6)、合并数据

 

2、安全模式

hdfs dfsadmin -safemode get /enter /leave/waite

当在安全模式得时候，就不能进行其它操作了

3、快照 snapshot summary，是一种备份，默认：HDFS是关闭得

hdfs dfsadmin

开启快照：hdfs dfsadmin -allowsnapshot [文件夹路径]

关闭快照：hdfs dfsadmin -disallowSnapshot [文件夹路径] 

查看开启快照得文件夹：hdfs lsSnapshottableDir 

创建快照：hdfs dfs -createSnapshot [需要创建快照得目录：文件夹路径] [快照目录得名字：快照得名字]

删除快照：hdfs dfs -deleteSnapshot [开启得快照目录] [快照名]

恢复快照，应用场景：原文件被删除，使用快照将其恢复

恢复快照：hdfs dfs -cp [之前生成得快照目录文件]  [存放文件路径]

4、回收站，默认HDFS禁用

1)、回收站得配置

core-site.xml，修改fs.trash.interval属性   //时间间隔（保留时常），以分钟为单位，默认是0（不保留）

<property>

<name>s.trash.interval</name>

<value>60</value>

</property>

修改所有配置文件，需要关闭集群才起效

2）、本质是剪切：回收站开启后，文件存放到了.Trash/Current文件夹下

查看删除得文件：hdfs dfs -lsr  /user/root/.Trash/Current（该路径是hdfs中得文件路径）

3）、回收站恢复与快照恢复一样，-cp

5、配额Quota

1）、名称配额

限定hdfs目录下，存放文件（目录）的个数，最多存放N-1个

setQuota -- 指定名称配额

clrQuota --清楚配额

如：

hdfs dfs -mkdir /myquota

hdfs dfsadmin -setQuota 3 /myquota (限制存放3个以下的目录)

2）、空间配额，必须大于默认数据块大小

setSpaceQuota

clrSpaceQuota