Hadoop 检查文件系统命令

最新推荐文章于 2024-04-28 08:37:56 发布
最新推荐文章于 2024-04-28 08:37:56 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： hadoop 文章标签： hadoop hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xypds2010/article/details/49690567
版权

最近，在搞CDH的过程中，发现hbase经常出现坏块的问题，cdh的监控界面有时会突然出现，current blocks，这个时候，就可以运行hadoop的fsck命令，检查文件系统的健康状况。

     su hdfs

     hadoop fsck /

然后下面会出现一些信息，在信息的最下面，会出现文件系统的状况信息。

如果出现坏块，想要清除的话，运行

 hadoop fsck / -delete即可，不过需要注意的是，运行这个命令以后，出现的坏块会被清除，切不可恢复，所以如果是重要数据，还是慎用为好！！！

诸葛明亮
关注
专栏目录
【大数据】【hadoop】查看hdfs文件命令
梦，不可及，所以可期待...
11-29 1314
查看hdfs文件的blockSize # 查看文件的blockSize [root@cdh01 text]# hdfs dfs -stat "%n %b %o %r %y %F" /tmp/example/access_2013_05_31.log access_2013_05_31.log 157069653 134217728 3 2020-10-07 02:05:07 regular file [root@cdh01 text]# hadoop fs -stat "%n %b %o %r %y %F
hadoop分布式文件系统_Hadoop分布式文件系统简介
cuxiong8996的博客
07-06 1842
HDFS是Apache Software Foundation项目和Apache Hadoop项目的子项目（请参阅参考资料 ）。 Hadoop是存储诸如TB和PB之类的大量数据的理想选择，并且使用HDFS作为其存储系统。 HDFS使您可以连接包含在其上分布数据文件的群集中的节点 （商品个人计算机）。 然后，您可以将数据文件访问和存储为一个无缝文件系统。 对数据文件的访问以流方式处理，这意味着应...
hadoop文件查看器
devil27的专栏
01-11 568
最近一段时间在学习hadoop，于是就想用java实现一下hadoop可视化的文件浏览器，经过昨天一天的学习，基本上实现了文件夹的浏览，双击进入，还有一个button返回的功能，打算再在工作之余完善一下，增加文件删除和增加功能，文件的浏览功能。特此记录一下！
Hadoop计算文件大小
lpxuan的专栏
03-25 1276
//Hadoop计算文件大小: publicstaticvoidmain(String[]args)throwsIOException{ StringtablePath=pathPrefix+args[0].toLowerCase().trim(); Pathp=newPath(tablePath); JobConfconf...
hadoop2.6.0实践：003 检查hadoop是否可用
weixin_33862041的博客
01-30 508
start-dfs.sh start-yarn.sh   1、检查hdfs hdfs dfs -ls / http://localhost:50070   2、运行例子程序 hdfs dfs -ls / hdfs dfs -mkdir -R /example/grep/input hdfs dfs -mkdir -R /example/grep/output hdfs dfs -copyFromL...
Hadoop测试 常用命令
zr7116的博客
05-18 462
验证本地库是否加载成功：hadoop checknative echo $HADOOP_OPTS 1.Hadoop 配置文件 : /home/Hadoop/app/hadoop-3.0.2/etc/hadoop 去掉注释行： grep -v "#" /root/math 2.从HDFS下载文件到当前位置： hadoop fs -get hdfs:/...
hadoop分布式文件系统搭建
03-01
- 格式化完成后，可以使用`hadoop fs -ls /`命令检查HDFS根目录下的文件和目录。 #### 二、配置Hive 配置完Hadoop后，接下来需要配置Hive，以便能够进行数据处理和分析。 ##### 1. 下载Hive和MySQL安装包并解压 ...
Hadoop Windows系统安装包 和 winutils的文件
01-09
同时，运行`hadoop fs -ls /`命令检查HDFS是否正常工作。 在Windows上安装和配置Hadoop可能比在Linux上复杂，但通过以上步骤，你应该能够在Windows环境中运行Hadoop，进行大数据处理。在实际应用中，Hadoop常与其他...
Hadoop的安装配置命令
最新发布
07-11
上述命令用于启动网络服务、重启网络服务和重启系统。 3. **编辑`/etc/hosts`文件**： ```shell vi /etc/hosts 192.168.6.102 hadoop02 systemctl status firewalld systemctl stop firewalld ``` 编辑`/...
【大数据】hadoop分布式文件系统--HDFS基础命令操作
snacks_in_desks的博客
06-04 1129
HDFS为使用者提供了基于shell操作命令来管理HDFS上的数据的功能。 1.先启动hadoop：start-all.sh 2.列出文件目录命令：hdfs dfs -ls 目录路径 示例： 查看HDFS根目录下的文件：hdfs dfs -ls / 3.在HDFS中创建文件夹 命令：hdfs dfs -mkdir 文件夹名称 示例： 在HDFS的根目录下创建名为datatest的文件夹：hdfs dfs -mkdir /datatest 但如果想级联创建一个文件夹，需要在-mkdir命令后指定-p参数：hd
hadoop安全
04-06
本文对hadoop1.0.4和kerberos的结合使用做了详细介绍;另外对hdfs,mapreduce,hive的权限管理提出了解决方案。(原创，市面上难找的好材料)
Hadoop 部署安装与可用性测试教程
努力变得不菜的菜鸡的博客
07-14 844
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throug...
hadoop常用的命令
Student_xx的博客
12-10 2928
1.hadoop常用命令 hadoop常用命令就是以下三个： 1.hadoop fs hadoop fs和hdfs等价：如下图的脚本可知： 2.hadoop checknative 检查原生hadoop和压缩库是否可用，如下图： 3.hadoop classpath 打印对象的类路径，如下图的执行结果： 具体的应用参考：http://cn.voidcc.com/question/p-tenieuea-bex.html 2.hdfs常用命令 如下图： 1.dfs命令： 生产上注意不建议使用mv移动
第129讲：Hadoop集群管理工具fsck实战详解学习笔记
slq1023的博客
11-15 911
第129讲：Hadoop集群管理工具fsck实战详解学习笔记 是用检查hdfs具体文件、文件夹的健康状况的。 这个工具帮助我们检查hdfs中文件在datanode中缺失的块及过程或过少的replication复本的内容。 hadoop fsck PATH 会从给定路径循环遍历文件系统中的内容，但此时访问的是namenode，而不是datanode，对于检查过的文件都会打印点。 文件在na
hadoop命令
2301_77836489的博客
04-28 625
hadoop命令
Hadoop巡检脚本
Auspicious航的博客
08-02 1210
变量为你的Hadoop连接信息和输出文件路径。运行脚本后，将会生成一个巡检报告文件，其中包含了Hadoop版本、HDFS健康状态、集群节点信息、YARN应用程序信息和YARN节点信息等。同样，这只是一个基本的示例脚本，你可以根据具体需求进行扩展和定制，添加更多的巡检项和检查规则。
HADOOP FS 常用命令使用
ltgsoldier1的博客
08-29 4008
1.hadoop fs -get > 从DFS拷贝文件到本地文件系统 hadoop fs -get /data/input/1901 >1901 2.hadoop fs -put 从本地系统拷贝文件到DFS hadoop fs -put data/ / 3.hadoop fs -cat > 从DFS多个part文件合并拷贝文件到本地文件系统, hadoop fs...
hadoop 笔记
weixin_45401571的博客
07-16 1846
hadoop 知识点总结
hadoop fsck / -openforwrite 命令解释
weixin_44646794的博客
11-29 698
hadoop命令解释
Hadoop分布式文件系统用户指南
fsck命令用于检查HDFS的健康状况，可以检测文件系统中的错误并提供修复建议。 13. fetchdt fetchdt命令用于获取Delegation Tokens，这些令牌用于安全认证，特别是在跨HDFS和MapReduce作业时。 14. 升级和回滚...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值