Hadoop 使用SHELL命令行查看副本数和块大小

最新推荐文章于 2023-03-11 20:20:21 发布
最新推荐文章于 2023-03-11 20:20:21 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38638777/article/details/106658513
版权

Hadoop 使用SHELL命令行查看副本数和块大小

输入命令hadoop fs

前提是hadoop 已经配置在环境变量的配置文件中
在这里插入图片描述
查看选项，发现有一个stat 命令选项 format
包含以下
%b：打印文件大小（目录为0）
%n：打印文件名
%o：打印block size （我们要的值）
%r：打印备份数
%y：打印UTC日期 yyyy-MM-dd HH:mm:ss
%Y：打印自1970年1月1日以来的UTC微秒数
%F：目录打印directory, 文件打印regular file

如果你想知道某个文件的块的副本数是多少
在这里插入图片描述
如果你要修改副本数，可以使用参数setrep 用来指定副本数

Genebrother
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
修改Hadoop的HDFS块大小
Paladin的专栏
02-13 7130
1 修改HDFS块大小 通过访问web页面查看目前HDFS的大小，默认是64M。     2 设置每个namenode节点和datanode节点的hdfs-site.xml文件，将文件中 的dfs.block.size属性值改为33554432（32M）单位大小为比特（B），重启集群 dfs.block.size 33554432     可以看到新添加
hadoop fs –stat命令详解
lskyne的专栏
05-14 9526
当向HDFS上写文件时，可以通过设置dfs.block.size配置项来设置文件的block size，这导致HDFS上不同文件的block size是不同的。有时候我们需要知道HDFS上某个文件的block size，比如想知道该该文件作为job的输入会创建几个map等。Hadoop FS Shell提供了一个-stat选项可以达到目的。官方文档描述这个选项时遗漏了可选参数。-stat选项的使用
hadoop副本数查看修改
weixin_38610500的博客
10-25 7529
hdfs的默认副本数量是3个，配置在/etc/hadoop/conf/hdfs-site.xml中 dfs.replication 3 我们也可以通过hdfs dfs -ls /path/to/file 命令查看hdfs上的文件： 文件类型会在第二列显示副本数量3，第五列显示文件大小，目录因为是由namenode维护的，所以没有副本数量，显示为- 如果想修改全局副本数量，只需要修改上面的hdfs-site.xml中的配置然后重启hdfs即可，修改完成后： 若hdfs中副本数
linux查看hdfs副本数量,文件副本数量问题，设置的dfs.replication没有生效
weixin_36082388的博客
05-15 932
问题描述：前几天发现hadoophdfs磁盘空间经常满，导致任务失败，但是查看hadoop fs -du -h / 这个根目录的文件大小总计150T左右，但是在50070端口页面查看到的磁盘使用接近390T，怀疑是文件备份数出问题了。执行 hadoop dfs -ls [filename] 近期的文件都是3份，上个月的抽几个文件看了下都是2份执行 hadoop fsck / 查看整个目录的备...
linux查看hdfs副本数量,使用hdfs fsck检查副本数不足，怎么恢复
weixin_30476033的博客
05-15 882
今天将NO-HA转移到HA的时候出现了数据丢失，本来是全部丢失。后来将dfs备份的目录导入到了新生成的DN节点中dfs目录下了。找回来一部分，但是还有是39个文件丢失。还出现了一些文件副本数不足。我是将曾经的一个DN节点设置成了HA的NN2节点，新的NN2节点上的dfs数据肯定丢失了。丢失的DN节点中的文件副本不会自动同步到其他DN节点上吗？请问下各位大牛怎么解决部分副本数不足的情况。[mw_sh...
Linux下Hadoop的分布式配置和使用.doc
02-23
- **列出HDFS文件**：使用`hadoop fs -ls`命令可以查看HDFS上的文件和目录，如`hadoop fs -ls /`列出根目录下的文件，`hadoop fs -ls ~`列出当前用户的主目录。 - **Hadoop MapReduce作业提交**：通过`hadoop jar`...
Hadoop dfs shell
09-29
2. ls 命令：用于查看文件和目录的信息，如果是文件，则返回文件信息，包括权限、副本数、用户 ID、组 ID、文件大小、修改日期和修改时间；如果是目录，则返回该目录下的文件和子目录列表。 示例：`hadoop fs -ls /...
2.1 hadoop+hbase部署和测试1
08-04
- 对HDFS进行写入和读取测试，使用`hadoop fs`命令行工具。 - 对HBase进行基本操作，如创建表、插入数据、查询数据等，可以使用HBase shell或编程API（如Java API）。 - 使用Hadoop的`jps`命令检查各节点上的服务...
Hadoop框架之HDFS的shell操作
05-20
对于HDFS的管理与操作，shell命令是一个常用且实用的工具，它允许用户在命令行界面进行文件和目录的创建、删除、移动等操作。这些命令与Linux shell中的命令类似，使得熟悉Linux操作的用户能够快速上手。 首先，...
hadoop-fs指令学习.pdf
12-05
- **-setrep**：设置文件或目录的副本数。 - **-touchz**：在HDFS中创建一个空文件。 - **-stat**：显示文件的统计信息。 - **-tail**：显示文件的最后几行。 - **-chmod**：改变文件或目录的权限。 - **-chown**：...
升降HDFS副本数量
abyslll的博客
02-28 3609
1 检查副本数量 例如检查hive中cs表的副本数量 hdfs fsck /user/hive/warehouse/cs 由上图可以看到副本数量为3 2 降副本数量 由于是目录，所以使用-R参数，可以递归。 hdfs dfs -setrep -R -w 2 /user/hive/warehouse/cs hdfs fsck /user/hive/warehouse/cs 从上图...
cdh管理hadoop集群：副本增删
eyeofeagle的博客
09-12 1687
1, 副本增加：1-> 2 需求：历史数据只有一个副本，需要修改为两个副本 登陆7180也没, 配置hdfs的replications个数 手动设置历史文件的副本数 #1,查看某文件的副本数 [hdfs@cdh1 ~]$ hdfs dfs -stat '%o,%r' /a.txt #blocksize, replication 134217728,1 #2, 修改文件副本数，-R ...
Hadoop--HDFS文件块大小
weixin_44976835的博客
03-26 2561
HDFS中的文件在物理上是分块（Block）存储的，块的大小是可以通过配置参数（dfs.blocksize）来规定的。一个文件块的默认大小是128M。 块大小的计算 如果寻址时间为10ms，即查找到目标block的时间为10ms 寻址时间为传输时间的1%，则为最佳状态。 因此传输时间=10ms/0.01=1000ms=1s 而目前磁盘传输速率普遍为100M/s 所以block大小为：1s*100M/S=100M 所以一般企业内定义的块大小为128M（机械硬盘）或256M（固态硬盘） 块大小的设置 为什么
Hadoop知识点总结
最新发布
weixin_50528552的博客
03-11 849
Hadoop知识总结
3 Hadoop-HDFS
PhoenixLuo·的博客
04-04 1025
目录 3.1 Apache版本Hadoop重新编译 3.1.1 为什么要编译Hadoop 3.1.2 编译环境的准备 3.2 Hadoop安装 3.2.1 上传apache Hadoop包并压缩 3.2.2 修改配置文件 3.2.3 配置Hadoop的环境 3.2.4 启动集群 3.3 Hadoop核心-HDFS 3.3.1 HDFS概述 3.3.2 HDFS应用场景 适合的应用场景 不适合的应用场景 3.3.3 HDFS架构 3.3.4 NameNode和DataNode
hdfs块大小，小文件，副本数
weixin_43975538的博客
07-08 3389
1.块大小 hdfs默认的块大小为128M，可以在官网查看参数dfs.blocksize。 假如一个文件的大小为130M，往HDFS里面存储时，先将128M存储到第一个块里面，剩余的2M则会存储到第二个块里面，但第二个快的实际大小为2M。 2.小文件 小文件的存储，对HDFS是致命的，默认小文件的定义，各个公司是不同的，可以从自己公司的日常文件中，随机挑选1000个文件，以此来定义小文件的大小。 ...
Hadoop副本数量配置
m0_67392931的博客
08-16 1406
1、服务端hdfs-site.xml中配置dfs.replication。2、在客户端指定dfs.replication的值。其中客户端所指定的优先级更高。
hdfs查看目录文件的大小 hdfs dfs -du -s -h /
热门推荐
Aying_seeyou的博客
11-23 2万+
1.hdfs dfs -du -h 查看各级文件大小 会出现两列数字，第一列为单个文件实际大小，第二列为备份大小。 2.hdfs dfs -ls -h 也可以查看文件大小 但是当子文件目录过多时 统计的大小为0 3.命令 hdfs dfs -du -s -h /user/hive/warehouse/ 结果 97.1 G 291.3 G /user/hive/warehouse 第一列标示该目录下总文件大小 第二列标示该目录下所有文件在集群上的总存储大小和你的副本数相关，我的副本数是3 ，所以第二列的
[1129]HDFS查看文件的两种方式
周小董
04-21 1万+
文章目录1.localhost：50070 图形化界面 离线查看2.通过命令行终端实现在线查看文件内容 1.localhost：50070 图形化界面 离线查看 可以查看hdfs文件目录的结构，副本数，block大小，文件的大小，但是不能查看文件的内容，要是查看文件的内容的话，得把文件给下载下来 2.通过命令行终端实现在线查看文件内容 [root@cdp101 bin]# hdfs dfs -ls Found 5 items drwx------ - hive hive 0 202
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值