HDFS中更改副本数不生效及解决办法

最新推荐文章于 2024-06-30 22:16:28 发布
最新推荐文章于 2024-06-30 22:16:28 发布
阅读量248 收藏
点赞数 3
文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/M_red/article/details/136647171
版权
在CDH6.3.2CentOS7环境中，若将HDFS的副本数从1更改为3但未生效，因为新副本数仅影响新上传的数据表。解决方法是先更改副本数设置，然后重新上传以使新设置生效。
摘要由CSDN通过智能技术生成

HDFS中更改副本数不生效及解决办法

集群版本：CDH6.3.2
系统版本：centos7

情况说明：
之前CDH集群的副本数为1，后续更改为3后，发现不生效
这个和HDFS的副本存储机制有关
上传到HDFS系统的文件副本数是由当时的系统副本数决定的，不会受副本系数修改而变

解决办法：
在单副本时上传的数据表，后续无法生效
只有更改后，再上传数据表，此时副本数才会生效，为3副本

小戈爱学习
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
修改dfs.relication值后如何生效
dux++ 的专栏
07-03 1271
修改master节点的hdfs-site.xml文件中dfs.relication值后，重启hadoop 和执行hadoop balancer，均不能使该设置生效，使用hadoop fsck / 查看，Average blockreplication还是原来的值，需要按如下操作： 修改hdfs文件备份系数：hadoop dfs -setrep [-R] 如果有-R将修改子目录文件的性质。
Hadoop集群！将HDFS副本数设置为3；可以正常提交MapReduce运行！
weixin_65518219的博客
06-28 1904
HDFS 数据副本概念：HDFS数据副本存放策略，副本的存放是HDFS可靠性和高性能的关键。优化的副本存放策略是HDFS区分于其他大部分分布式文件系统的重要特性。这种特性需要做大量的调优，并需要经验的积累。
修改hbase存储在hdfs上文件副本数
lvhong1234的博客
07-11 950
hbase修改存储文件副本数
CDH5部署三部曲之三：问题总结
2401_84152719的博客
04-30 424
既已说到spring cloud alibaba，那对于整个微服务架构，如果想要进一步地向上提升自己，到底应该掌握哪些核心技能呢？就个人而言，对于整个微服务架构，像RPC、Dubbo、Spring Boot、Spring Cloud Alibaba、Docker、kubernetes、Spring Cloud Netflix、Service Mesh等这些都是最最核心的知识，架构师必经之路！下图，是自绘的微服务架构路线体系大纲，如果有还不知道自己该掌握些啥技术的朋友，可根据小编手绘的大纲进行一个参考。
hdfs设置目录过文件副本数
qq_40302627的博客
07-31 1120
此时，/ingest目录下的所有文件副本都变成了2，会修改之前的文件的副本数，文件大小发生变化，但是新传的文件还是默认副本数。所以这个命令的作用是改变现有目录下文件的副本数，并不是设置一个副本数为2的目录，上传到这个目录下的副本数仍未默认副本数。hdfs dfs -ls /ingest 结果的第二列就是副本数。hdfs fsck /ingest 命令查看目录块存储。1.上传文件时指定存储副本数。2.设置目录的副本数。
HDFS修改副本数并生效
学亮编程手记
06-03 2699
1、hadoop集群使用的ucloud的uahdoop 2、是公司集群配置小，只有两台core节点，实际就是两台的datanode。 容量占用超过了80%，需要缩减副本以空出容量。 3、查看 hadoop fs -du -h /user/hive/warehouse/xxwarehouse.db/xx_datasourceraw/partitiondate=2019-10-31 可以看到，每个文件三个副本。 4、执行 hdfs dfs -setrep -R 2 / 　将所有的已经上传的副本从3个变成了两个
CDH集群 不良 : 群集中有 1,855 个 副本不足的块 块。群集中共有 1,857 个块。百分比 副本不足的块: 99.89%。 临界阈值：40.00%。
前方的路在刚开始
07-20 1257
cdh是默认4台节点，1台主节点，3台datanode,但是我们主节点只有namenode。打开cdh配置，按照这4步进行点击。由于是集群所以可以选择一台机器。
Linux中安装Hadoop全分布部署
03-19
这些文件定义了Hadoop的运行参数，如HDFS的副本数量、NameNode和DataNode的地址、JobHistoryServer的地址等。根据实际需求进行修改，并保存配置。 8. **Hadoop初始化与启动**： 初始化Hadoop集群通常包括格式化...
Vmware的Centos7中的Spark虚拟机配置
09-16
- 修改环境变量，如在`~/.bashrc`或`~/.bash_profile`中添加`JAVA_HOME`, `PATH`, `CLASSPATH`等，然后执行`source ~/.bashrc`使更改生效。 5. **Hadoop安装与配置**： - 解压Hadoop压缩包并重命名，配置Hadoop的...
基于CentOS7平台的Hadoop安装及环境搭建全教程.zip
03-13
- `hdfs-site.xml`: 配置 NameNode 和 DataNode 的目录，副本数等。 - `yarn-site.xml`: 配置 YARN 的资源管理器和节点管理器参数。 - `mapred-site.xml`: 设置 MapReduce 运行模式（本地或集群）。 初始化 HDFS ...
Centos7中安装hadoop资源包
01-20
保存并关闭文件，然后使更改生效： ```bash source /etc/profile ``` 接下来，解压Hadoop资源包。我们有`hadoop-3.1.4.tar.gz`，这是一个归档文件，可以使用以下命令解压： ```bash tar -zxvf hadoop-3.1.4.tar....
Hadoop集群部署及测试实验（一）.docx
03-01
- 配置 `hdfs-site.xml` 文件，定义数据块副本数量。 - 配置 `mapred-site.xml` 和 `yarn-site.xml` 文件，设定MapReduce和YARN的相关参数。 - 更新 `slaves` 文件，添加所有集群节点的主机名。 通过上述步骤，...
hadoop——day4、5(HDFS)
Kevinwen0228的博客
04-18 1895
HDFS 1.HDFS概述 1）HDFS定义 HDFS（Hadoop Distributed File System）， 它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 HDFS的使用场景： 适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。 2）优缺点： 优： 高容错 数据自动北方多个副本 某个副本丢失，可以自动恢复 适合大数据处理 可以构建在廉价服务器上 缺： 不适合低延时数据访
修改HDFS上传和已有文件副本数，fsck命令检查文件的副本数，副本数量的配置，Block块大小的配置
最新发布
qq_65231448的博客
06-30 501
修改HDFS上传和已有文件副本数，fsck命令检查文件的副本数，副本数量的配置，Block块大小的配置
Hive
zhouben12的博客
08-28 202
数据仓库 通过sql语言管理hdfs上的数据，底层转化为MapReduce,效率很低。适合离线分析/批处理。 将hive默认数据库调整为mysql后，每次启动hive需要先启动hadoop集群和数据库，再启动hive start-all.sh #启动hadoop service mysql start #启动数据库 sh hive #进入hive操作页面 没有主键的概念 insert overwrite表示覆盖，insert into 追加 创建表 > create
hadoop副本数查看修改
weixin_38610500的博客
10-25 7501
hdfs的默认副本数量是3个，配置在/etc/hadoop/conf/hdfs-site.xml中 dfs.replication 3 我们也可以通过hdfs dfs -ls /path/to/file 命令查看hdfs上的文件： 文件类型会在第二列显示副本数量3，第五列显示文件大小，目录因为是由namenode维护的，所以没有副本数量，显示为- 如果想修改全局副本数量，只需要修改上面的hdfs-site.xml中的配置然后重启hdfs即可，修改完成后： 若hdfs中副本数
[hadoop]数据迁移｜判断文件｜修改副本数｜清理垃圾
胖胖的博客
03-03 1226
1.数据迁移 hadoop distcp -Dmapreduce.job.queuename=hive2 hdfs://ip1:8020/user/hive/warehouse/test.db/t1 hdfs://ip2:8020/user/hive/test.db/ ip1表示从哪里导入，ip2表示导入到哪里。 如果这条命令在ip1所在的节点运行则为ip1向ip2推送数据,此时用的是ip1的资源. 如果这条命令运行在ip2所在节点则为ip2从ip1拉取数据,此时用的是ip2的资源. 注意:
HDFS块修复，缩减副本
weixin_47099283的博客
11-02 709
HDFS块修复，缩减副本
Hadoop维护实战-设置hdfs副本数 dfs.replication
05-21
在Hadoop中，可以通过修改`dfs.replication`属性来设置HDFS的副本数。 更改HDFS副本数的步骤如下： 1. 打开`hdfs-site.xml`文件。 2. 在文件中找到`dfs.replication`属性，它的默认值为3。 3. 将`dfs....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值