hdfs学习记录

最新推荐文章于 2022-11-02 08:56:05 发布

时指尖

最新推荐文章于 2022-11-02 08:56:05 发布

阅读量155

点赞数

文章标签： hdfs

本文链接：https://blog.csdn.net/qq_43519594/article/details/123618736

版权

一.几种常见的hdfs命令

1.dfsadmin run a DFS admin client

其中最常用的一个参数是safemode 安全模式

hdfs dfsadmin -safemode <enter | leave | get | wait> 安全模式这个命令当中，我们常用的是enter和leave。首先什么是安全模式，就是只读模式。所以我们一般在生产中什么场景下使用呢？

如果我们是手工进入到这个安全模式的话，其他用户只能读取里面的数据，而不能添加写入或者修改。这个时候我们一般是生产维护的过程，比如进行数据迁移，备份等。等完事后再解除安全模式

如果是系统自动进入到安全模式的话就说明我们的hdfs可能出现问题了，这个时候我们也分为两种操作：a，手动的输入命令hdfs dfsadmin -safemode leave这个命令，如果能正常退回普通模式的话就没有问题了。b，如果手工输入命令后还是不能返回普通模式的话，说明NN节点受损了，这个时候我们要仔细第阅读NN节点的log日志来排查可能的问题。

当进入到safemode模式后，系统提示Safe mode is ON这个提示，然后我就不能put文件上去了，当我退出以后就可以了。另外在safe模式下是可以从hadoop上面get文件下来的，但不能moveToLocal这个中命令，你只能copy下来本地。

所以一般情况下安全模式是关闭的 Safe mode is off

2.fsck run a DFS filesystem checking utility

fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。

3.dfs run a filesystem command on the file system

常见的dfs命令见笔记三

4.namenode run the DFS namenode

hdfs namenode -format 格式化namenode

二.设置回收站功能

在/home/wolf/app/hadoop/etc/hadoop/core-site.xml 文件最后增加

 <property>
       <name>fs.trash.interval</name>    --这句话意识添加文件清除间隔
       <value>10080</value>              --这里设置间隔时间 单位是分钟（10080就是7天）
   </property>

接着我们试验一下

首先在hdfs上创建两个文件夹test1 test2

bin/hdfs dfs -mkdir -p delete/test1
bin/hdfs dfs -mkdir -p delete/test2

我们可以看到hdfs上已经有了
在这里插入图片描述

然后删除test1

[wolf@wolf hadoop]$ bin/hdfs dfs -rm -r delete/test1
2022-03-20 16:29:26,026 INFO fs.TrashPolicyDefault: Moved: 'hdfs://wolf:9000/user/wolf/delete/test1' to trash at: hdfs://wolf:9000/user/wolf/.Trash/Current/user/wolf/delete/test1

弹出info 信息它提示我test1文件被移动到了.Trash 文件夹下

然后我们看一下是否移动到了.Trash 文件夹下

[wolf@wolf hadoop]$ bin/hdfs dfs -ls /user/wolf/.Trash/Current/user/wolf/delete
Found 1 items
drwxr-xr-x   - wolf supergroup          0 2022-03-20 16:22 /user/wolf/.Trash/Current/user/wolf/delete/test1

确实已经是移动到了.Trash 文件夹

所以回收站功能就是把一个文件移动到另一个.Trash文件里，然后每隔一段时间自动删除

当然，hdfs也提供了另一种删除方式，即跳过回收站直接删除，我们以test2文件夹为例

[wolf@wolf hadoop]$ bin/hdfs dfs -rm -r -skipTrash delete/test2
Deleted delete/test2

然后我们再去.Trash 文件夹下看看

[wolf@wolf hadoop]$ bin/hdfs dfs -ls /user/wolf/.Trash/Current/user/wolf/delete
Found 1 items
drwxr-xr-x   - wolf supergroup          0 2022-03-20 16:22 /user/wolf/.Trash/Current/user/wolf/delete/test1

仍然只有test1，所以加上-skipTrash 就会直接删除，严禁在生产上使用！！！