hdfs java api操作hdfs 若文件不存在则创建,否则进行文件追加

hdfs文件创建和内容的追加

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.FileInputStream;
import java.io.IOException;
import java.net.URI;

public class HDFSTest {
    private FileSystem fileSystem;
  	//testAppend调用前执行初始化操作
    @Before
    public void init() throws IOException, InterruptedException {
        Configuration conf = new Configuration();
        //设置文件副本数
        conf.set("dfs.replication", "3");
        fileSystem = FileSystem.get(URI.create("hdfs://hadoop102:8020"), conf, "cz");
    }
    //testAppend调用后执行资源释放操作
    @After
    public void destroy() throws IOException {
        if (fileSystem != null) {
            fileSystem.close();
        }
    }
    @Test
    public void testAppend() throws IOException {
        Path path = new Path("/wcinput/m.txt");
        FSDataOutputStream append=null;
        if(fileSystem.exists(path)){
            append= fileSystem.append(path);
        }else {
            append=fileSystem.create(path);
        }
        FileInputStream fileInputStream = new FileInputStream("F:\\百度云盘文档\\大数据学习\\V4.1.docx");
        byte[] bytes = new byte[1024 *1024];
        int a=0;
        while ((a=fileInputStream.read(bytes))!=-1){
            append.write(bytes,0,a);
        }
        append.close();
        fileInputStream.close();

    }
}


  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

但行益事莫问前程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值