hadoop HDFS 设置文件复试数（备份数）

最新推荐文章于 2022-06-11 17:46:11 发布

架构师思考实践

最新推荐文章于 2022-06-11 17:46:11 发布

阅读量9.2k

点赞数 1

分类专栏： Hadoop学习与使用文章标签： hadoop hdfs 副本数配置文件程序

本文链接：https://blog.csdn.net/smile0198/article/details/16929817

版权

本文介绍了HDFS如何确保高可恢复性和抗灾性，关键在于适当设置文件的复制数。根据集群规模，可以使用两种方法调整副本数：一是通过修改配置文件hdfs-site.xml中的属性；二是通过程序动态设置。示例中将复制数配置为1，可以在HDFS管理Web UI中查看验证。

摘要由CSDN通过智能技术生成

HDFS高可恢复行，高抗灾行，很重要一点就是通过存放多个副本来保证的，但是根据集群的规模不同，可能要设置不同的复制数，可通过配置文件和程序来实现。
方法一：通过配置文件实现
在hdfs-site.xml中有个属性在hdfs-site.xml中有个属性

<property>
  <name>dfs.replication</name>
  <value>3</value>
  <description>Default block replication.
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
</property>

value默认为3，这个可以根据自己的情况设置。
方法二：在程序中设置

		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(URI.create(hadoop_path), conf);
		Path path = new Path(hadoop_path);
		FSDataOutputStream out = fs.create