HDFS api上传文件和hdfs命令上传副本数为什么不一致?

HDFS 简介

hdfs是hadoop中分布式的文件存储系统;具有高容错、可扩展;广泛的用于大数据项目中(不仅仅是hadoop)


1 hdfs copyFromLocal

1.1 java API
    public static final String HDFS_PATH = "hdfs://192.168.72.160:8020";
    Configuration configuration;
    FileSystem fileSystem;

    @Before
    public void setUp() throws Exception {
        configuration = new Configuration();
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "hadoop");
    }

    @After
    public void tearDown() throws IOException {
        if (fileSystem != null) {
            fileSystem.close();
        }
    }
    @Test
    public void copyFromLocalFile() throws Exception{
        Path localpath = new Path("E:/linux/redis_install.sh");
        Path hdfsPath = new Path("/test/");
        fileSystem.copyFromLocalFile(localpath,hdfsPath);
    }
1.2 hdfs 命令
[hadoop@hadoop000 data]$ hdfs dfs -copyFromLocal access.log /test/

在这里插入图片描述

1.3 两种上传的副本数为什么不同?

原因:
测试环境为伪分布式环境,hdfs 命令上传时使用的配置文件为集群中的配置文件hdfs-site.xml,
而java PI上传时使用的是默认jar中配置文件。
解决办法有两种:
第一种:将集群中的配置文件hdfs-site.xml文件复制到项目中resources目录下
在这里插入图片描述
第二种:在Configuration中设置副本数
在这里插入图片描述


评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值