HDFS API编程之副本系数

Hadoop 版本：hadoop-2.6.0-cdh5.15.1
虽然在hdfs-site.xml中设置了副本数量：

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

但是我们在Java API代码中创建文件：

public class HDFSAPP {

    public static final String HDFS_PATH = "hdfs://swarm-worker1:9000";
    FileSystem fileSystem = null;
    Configuration configuration = null;

    /**
     * 构造一个访问指定HDFS系统的客户端对象
     * 第一个参数：HDFS的URI
     * 第二个参数：客户端指定的配置参数
     * 第三个参数：客户端的身份，即用户名
     * @throws URISyntaxException
     */
    @Before
    public void setUp() throws URISyntaxException, IOException, InterruptedException {
        System.out.println("--------setUp---------");
        configuration = new Configuration();
        fileSystem = FileSystem.get(new URI("hdfs://swarm-worker1:9000"), configuration, "iie4bu");
    }

    /**
     * 创建文件
     * @throws Exception
     */
    @Test
    public void create() throws Exception {
        FSDataOutputStream out = fileSystem.create(new Path("/hdfsapi/test/a.txt"));
        out.writeUTF("hello world");
        out.flush();
        out.close();
    }

    @After
    public void tearDown() {
        configuration = null;
        fileSystem = null;
        System.out.println("--------tearDown---------");
    }
}

上面的代码创建了一个文件/hdfsapi/test/a.txt，在浏览器中查看：

可以看到副本数量Replication为3，而我们通过命令创建的文件副本数量是1。
说明是在代码层面有一个默认设置。

    @Test
    public void testReplication() {
        System.out.println(configuration.get("dfs.replication"));
    }

上面的代码输出结果为3说明副本数量是3。

在这个路径下有一个hdfs-default.xml文件，文件中指定了默认的replication数量是3：

这就是为什么configuration默认的数量是3的原因了。因为我们使用的configuration是默认的，自动加载默认的hdfs-default.xml文件中的数据。
所以我们可以通过手动设置这个参数来修改replication：
configuration.set("dfs.replication", "1");
此时再创建一个文件时，replication副本数量就是1了。