本地上传文件到hdfs

最新推荐文章于 2024-11-16 19:00:01 发布

搬砖快乐～

最新推荐文章于 2024-11-16 19:00:01 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： hadoop big data

本文链接：https://blog.csdn.net/demon_LL/article/details/120184443

spark 专栏收录该内容

8 篇文章

订阅专栏

本地上传文件到hdfs

使用javaApi上传文件

本地上传文件到hdfs
使用javaApi上传文件

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class PutHdfsFile {
    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();
        //本地文件
        String localDir = "D:/11.txt";
        //hdfs目标目录
        String hdfsDir = "hdfs://cluster/test";
        try {
            Path localPath = new Path(localDir);
            Path hdfsPath = new Path(hdfsDir);
            FileSystem hdfs = FileSystem.get(conf);
            if (!hdfs.exists(hdfsPath)) {
                hdfs.mkdirs(hdfsPath);
                System.out.println("hdfs目录创建");
            }
            System.out.println("本地文件开始上传....");
            long start = System.currentTimeMillis();
            hdfs.copyFromLocalFile(localPath, hdfsPath);
            System.out.println("本地文件已上传成功,耗时：" + (System.currentTimeMillis() - start));

        } catch (Exception e) {
            e.printStackTrace();
            System.out.println(e.getMessage());
        }
    }


}


1.将core-site.xml,hdfs-site.xml放到resources目录下

2.更改本地文件目录即可上传。

使用远程工具上传文件到hdfs

https://blog.csdn.net/thethefighter/article/details/106864009