hadoop复制因子 单独设置

1、 Hadoop 可以通过 dfs.replication来设置 复制因子数量

2、可以再上传文件的同时指定创建的副本数

hadoop dfs -D dfs.replication=1 -put  1.txt   /tmp/

3、可以通过命令来更改已经上传的文件的副本数： hadoop fs -setrep -R 1  /tmp  ,把/tmp目录下的文件复制因子设置成1个

4、关于dfs.replication有以下几个特点：

1）修改了dfs.replication，对已经上传了的文件也不会起作用

2）dfs.replication这个参数是个client参数

5、hive写数据时限制复制因子数：只要设置dfs.replication值，再执行insert语句即可

set dfs.replication=1

insert overwrite table  tmp.test
select id ,name from logistics.city ;

6、mapreduce代码执行限制复制因子数：Configuration里面设置即可

Configuration conf = new Configuration();

conf.set("dfs.replication",1)