hadoop HDFS文件的上传与下载

package com.zyc.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.net.URI;

/**
* Created with IntelliJ IDEA.
*
* @Author: zyc2913@163.com
* @Date: 2020/9/1 17:20
* @Version: 1.0
* @Description: hadoop HDFS的基本操作
*/
public class HdfsTest1 {

    public static void main(String[] args) throws Exception{
        /**
         * 0.创建配置文件对象
         */
        Configuration conf = new Configuration();
        /**
         * 这个对象可以在程序运行时临时修改Hadoop的一些配置参数:比如修改副本数.
         * 系统默认的副本数为"2",这里设置为"1",因为优先级顺序为:代码中的设置  > resource的配置文件  > 集群的配置
         */
        //设置副本数
        conf.set("dfs.replication","1");
        //设置主机ip和端口号(ip如果换成主机名可能会报错)
        URI uri = URI.create("hdfs://192.168.9.11:9000/");
        /**
         *  1.通过FileSystem创建HDFS文件系统对象
         *  HDFS 的API入口类是FileSystem,FileSystem 有多个实现类
         *  FileSystem 可以根据URI兼容各种各样不同的文件系统
         */
        FileSystem fs = FileSystem.get(uri, conf, "root");
        //创建一个判断标记
        boolean flag;

        //上传文件:调用上传文件的方法,控制台输出“文件上传成功”
        //upload(fs);
        //System.out.println("文件上传成功");
        //下载文件
        //download(fs);
        //System.out.println("下载成功");
        //创建文件
        flag = fs.mkdirs(new Path("/5.txt"));
        //System.out.println(flag);
        //删除文件
        //flag = fs.delete(new Path("/4.txt"), true);
        System.out.println(flag);

    }
    //下载文件:从虚拟机目录到本地目录
    private static void download(FileSystem fs) throws IOException {
        fs.copyToLocalFile(new Path("/1.txt"),
                new Path("C:\\Users\\Administrator\\Desktop\\1.txt"));

    }
    //上传文件(覆盖):从本地源文件目录到虚拟机目标目录
    private static void upload(FileSystem fs) throws IOException {
        fs.copyFromLocalFile(new Path("C:\\Users\\Administrator\\Desktop\\flume.txt"),
                new Path("/"));
    }
}

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值