如何使用java操作Hdfs文件服务器?

package hdfs;

import java.io.FileInputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.Trash;
import org.apache.hadoop.io.IOUtils;

public class HdfsUtil {

    public static void main(String[] args) throws Exception {

        final FileSystem fileSystem = FileSystem.get(new URI("hdfs://ha:9000"), new Configuration());
        System.out.println("**************"+fileSystem.toString());
        System.out.println("**************"+fileSystem.getClass());

        //创建文件夹mkdirs
        fileSystem.mkdirs(new Path("mydir"));
        fileSystem.mkdirs(new Path("/dir2"), new FsPermission("111"));
        
        //上传文件create
        final FSDataOutputStream out = fileSystem.create(new Path("/dir1/file1"), true, 1024000, (short)2, 1048576);
        final FileInputStream in = new FileInputStream("/root/Downloads/hello");
        IOUtils.copyBytes(in, out, 1024, true);
        
        
        final AtomicInteger writeBytes = new AtomicInteger(0);
        final FSDataOutputStream out = fileSystem.create(new Path("/dir1/file2"), new Progressable() {
            @Override
            public void progress() {
                System.out.println("WriteBytes = "+writeBytes.get());
            }
        });
        
        final FileInputStream in = new FileInputStream("/root/Downloads/hello");
        byte[] buffer = new byte[4];
        int readBytes = in.read(buffer);
        while(readBytes!=-1) {
            out.write(buffer);
            out.flush();
            out.hsync();
            writeBytes.addAndGet(readBytes);
            readBytes = in.read(buffer);
        }
        
        //读取数据
        final FSDataInputStream in = fileSystem.open(new Path("/dir1/file1"));
        IOUtils.copyBytes(in, System.out, 1024, true);

        //遍历
        final FileStatus[] listStatus = fileSystem.listStatus(new Path("/"));
        for (FileStatus fileStatus : listStatus) {
            System.out.println(fileStatus);
        }

        
        //获取工作目录
        fileSystem.getWorkingDirectory().toString();
        
        
        //删除
        final Trash trash = new Trash(fileSystem, fileSystem.getConf());
        trash.moveToTrash(new Path("/dir1/file1"));
        fileSystem.delete(new Path("/dir1/file1"), true);        
    }

}
 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

柒嘴八舌

你的鼓励将是我创造最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值