hadoop常用的命令

1.hadoop常用命令

hadoop常用命令就是以下三个:
在这里插入图片描述

1.hadoop fs

hadoop fs和hdfs等价:如下图的脚本可知:
在这里插入图片描述

2.hadoop checknative

检查原生hadoop和压缩库是否可用,如下图:
在这里插入图片描述

3.hadoop classpath

打印对象的类路径,如下图的执行结果:
在这里插入图片描述
具体的应用参考:http://cn.voidcc.com/question/p-tenieuea-bex.html

2.hdfs常用命令

如下图:
在这里插入图片描述

1.dfs命令:

在这里插入图片描述
生产上注意不建议使用mv移动,原因是如果在移动的过程中存在问题,会导致数据不全或有其它问题。建议使用cp,待验证移动的数据没问题之后再去删除源端的。

2.dfsadmin命令:

在这里插入图片描述

1.安全模式

hdfs dfsadmin -safemode get #获取安全模式的状态,如下图:
在这里插入图片描述
当安全模式OFF时,读、写都可以,当安全模式ON时,读可以、写不行。如下图:
在这里插入图片描述
进入安全模式分两种情况:

1.未来必然hdfs查看日志出现安全模式的英文单词,必然说明你的hdfs集群是有问题的,相当于处于一个保护模式。一般需要你尝试手动执行命令,离开安全模式 【优先操作】
2.主动进入安全模式,主动进入一般都是做集群的维护操作,因为需要保证这个时间段hdfs不要有新数据进入,所以需要主动进入安全模式。

3.磁盘的健康检查 hdfs fsck

执行hdfs fsck命令后,会显示出相关的用法:
在这里插入图片描述
1)查看文件中损坏的块(-list-corruptfileblocks)

hdfs fsck / -list-corruptfileblocks

2)将损坏的文件移动至/lost+found目录(-move)

hdfs fsck / -move

3)删除损坏的文件(-delete)

hdfs fsck /1.txt -delete

4)检查并列出所有文件状态(-files)

hdfs fsck / -files

5)检查并打印正在被打开执行写操作的文件(-openforwrite)

hdfs fsck / -openforwrite

6)打印文件的Block报告(-blocks) 需要和-files一起使用

hdfs fsck / -files -blocks

7)打印文件块的位置信息(-locations) 需要和-files -blocks一起使用

hdfs fsck /1.txt  -files -blocks -location

8)打印文件块位置所在的机架信息(-racks)

hdfs fsck /1.txt -files -blocks -locations -racks

其它的关联我的这篇文章:https://blog.csdn.net/Student_xx/article/details/110621343

  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值