Hadoop中查看HDFS中的一个文件的位置信息

最新推荐文章于 2024-04-28 08:37:56 发布
最新推荐文章于 2024-04-28 08:37:56 发布
阅读量1.2w 收藏 3
点赞数
分类专栏： hadoop

指令

hadoop fsck /user/hadoop/filename -files  -blocks -locations -racks

-files  文件分块信息，
-blocks    在带-files参数后才显示block信息
-locations   在带-blocks参数后才显示block块所在datanode的具体IP位置，

-racks       在带-files参数后显示机架位置


注意：此命令只能在namenode里输入，在datanode里输入会报错的

weixin_41255682
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
查找某个文件在HDFS集群中的位置
sfhinsc的博客
11-13 4432
查找某个文件在HDFS集群中的位置
HDFS文件的查看
05-21
hdfs文件的查看 hdfs fs -cat /文件名
hadoop命令
最新发布
2301_77836489的博客
04-28 426
hadoop命令
查询hdfs的相对路径
qq_43688472的博客
01-12 1940
今天在我和同事交流时， 对比数据类型，我看到了一个hdfs的相对路径查询，很是好奇， 这个是我的查询 问题在于哪里 用户的不同 也就是说，可以相对路查询是因为在sunlower的用户名，可以找到对应的/user/sunflower/* 下的文件 其他用户也可以查询其他路径的下的文件，但是只能是一级路径 ...
本机查看hdfs目录
王佳斌
06-12 1万+
开始 因为hdfs是一个分布式文件系统，又是分布式计算中数据存储管理的基础，直接在命令行输入和浏览非常不方便。 首先要先确认是否启动了Hadoop服务进程，否则无法继续。 在浏览器地址栏输入（以192.168.56.110为例，端口默认50070）： 192.168.56.110:50070 如果出现如下页面，即为成功！ ...
Hadoop查看目录文件大小的脚本
weixin_30312659的博客
08-19 127
hadoop fs -du / | awk '{ sum=$1 ;dir2=$3 ; hum[1024**3]="Gb";hum[1024**2]="Mb";hum[1024]="Kb"; for (x=1024**3; x>=1024; x/=1024){ if (sum>=x) { printf "%.2f %s \t %s\n",sum/x,hum[x],dir2;break }...
Hadoop存储系统HDFS的文件是分块存储.docx
03-26
Hadoop存储系统HDFS的文件是分块存储，每个文件块默认大小为32MB。 T F 评测结果：答案正确（5 分） 1-2 HDFS系统采用NameNode定期向DataNode发送心跳消息，用于检测系统是否正常运行。 T F
hadoop的hdfs文件操作实现上传文件到hdfs
09-04
Hadoop 的核心组件之一是 HDFS（Hadoop Distributed File System），它是一个分布式文件系统，能够跨多台机器存储和处理数据。本篇文章将深入探讨如何使用 Hadoop 的 API 对 HDFS 上的文件进行操作，包括上传文件、...
大数据Hadoop中Hdfs的工作原理简洁版
09-18
其次，SecondaryNameNode的工作机制是每隔一个小时，去NameNode中拉取最新的fsimage文件（里面存放元数据信息）和已经终止的edits文件（里面存放NameNode的操作记录）拉到SecondaryNameNode的服务器上，然后进行合并...
windows平台使用hadoop hdfs文件进行中文分词的示例代码
11-08
windows平台上，使用Eclipse hadoop插件，开发基于hdfs文件的中文分词统计和排序功能，以唐诗三百首为例，找出其中使用频率最高的词语。
HDFS实例基本操作
07-02
在安装好HDFS的前提下，此项目包含HDFS的基本操作，上传，下载，创建文件夹等。
hadoop的hdfs命令操作
jquery_learn的博客
05-25 532
hdfs dfs -put linux文件路径 HDFS路径。hdfs dfs -get HDFS文件路径 linux路径。hdfs dfs -mkdir -p HDFS路径。hdfs dfs -rm -r HDFS文件路径。hdfs dfs -cat HDFS路径。1、查看hdfs目录。
hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息
weixin_34010566的博客
06-26 800
2019独角兽企业重金招聘Python工程师标准>>> ...
学习C/C++ 一
我和你的博客
11-08 157
C++不懂知识点理解 以书本讲解为准,自己理解不一定对 知识点一 # //空指令,无任何效果 #include //包含一个源代码文件 #define //定义宏 #undef //取消已定义的宏 #if //如果给定条件为真,则编译下面代码 #ifdef //如果宏已经定义,则编译下面代码 #ifndef //如果宏没有定义,则编译下面代码 #elif //如果前面的#if给定条件不为真,当前条件为真, 则编译下面代码 #endif
HDFS的基本操作（创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件）
热门推荐
weixin_61472217的博客
09-13 2万+
主要涉及HDFS shell操作命令，包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。
Java大数据之路--HDFS详解（3）--基本命令
Normcore的博客
10-30 339
HDFS(分布式文件存储系统)--基本命令 目录 HDFS(分布式文件存储系统)--基本命令 一、常见命令 二、其他命令 一、常见命令 命令 说明 hadoop fs -mkdir /park 在hdfs 的根目录下，创建 park目录 hadoop fs -ls / ...
【学习笔记】Hadoop之HDFS的块大小、小文件和副本数
潇山远
07-07 6676
HDFS的块大小 HDFS是以块（Block）作为基本的存储单元，默认块大小是128M。在生产上也有根据集群情况，把HDFS的块大小设置为256M的。 比如一个150M的文件要存储到HDFS中，将会拆分成2个块，大小分别是128M、22M。 HDFS不擅长小文件的处理   HDFS文件系统擅长于处理大文件的场景，不擅长于处理小文件的场景，这主要有两个原因：   一个是大量的小文件元数据信息的管理维...
查看及切换目录
m0_55834564的博客
08-12 991
home： 存放所有用户文件的根目录，是用户主目录的基点，比如用户user的主目录就 是/home/user，可以用~user表示；/lost+found： 这个目录平时是空的，系统非正常关机而留下“无家可归”的文件（windows下叫什 么.chk）就在这里。/mnt： 系统管理员安装临时文件系统的安装点，系统提供这个目录是让用户临时挂载其他的。/var： 用于存放运行时需要改变数据的文件，也是某些大文件的溢出区，比方说各种服务的。/usr ： 用于存放系统应用程序；...
hadoop中no hdfs used是什么文件占用的
04-28
"hadoop中no hdfs used" 不是一个文件名，而是一个提示信息，表明当前Hadoop集群的HDFS存储没有被任何文件占用。如果您想查找具体哪个文件占用了HDFS存储，可以使用Hadoop命令行工具hdfs dfs -du -h /命令来查看HDFS...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值