JAVA 上传本地文件到HDFS

最新推荐文章于 2023-03-30 23:34:40 发布
最新推荐文章于 2023-03-30 23:34:40 发布
阅读量3.9k 收藏 32
点赞数 2
分类专栏： java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ypp91zr/article/details/108280860
版权

步入正题

本地安装的hadoop版本为3.1.3

pom.xml

<properties>
        <java.version>1.8</java.version>
        <spark.version>3.0.0</spark.version>

        <scala.version>2.12.10</scala.version>
        <scala.binary.version>2.12</scala.binary.version>
        <hive.version>2.3.7</hive.version>
        <hadoop.version>3.1.1</hadoop.version>
        <kafka.version>2.4.1</kafka.version>
        <zookeeper.version>3.4.14</zookeeper.version>
        <guava.version>14.0.1</guava.version>
    </properties>
<!--spark框架开始-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <!--
        Add joda time to ensure that anything downstream which doesn't pull in spark-hive
        gets the correct joda time artifact, so doesn't have auth failures on later Java 8 JVMs
        -->
        <dependency>
            <groupId>joda-time</groupId>
            <artifactId>joda-time</artifactId>
            <scope>compile</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <!--spark框架结束-->
        <!--hadoop开始-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <!--hadoop结束-->


HDFSController

package com.example.controller.hdfs;

import com.example.utils.hdfs.HDFSUtils;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.multipart.MultipartFile;

/**
 * @ClassName HDFSController
 * @Date 2020/8/26 11:41
 */
@RestController
@RequestMapping("/spark/hdfs")
public class HDFSController {

    @GetMapping("/read")
    public String readFile(String fileName) throws Exception {
        return HDFSUtils.readFile(fileName);
    }

    @PostMapping("/upload")
    public void upload(MultipartFile file) throws Exception {
        HDFSUtils.createFile("ypp",file);
    }
}

工具类HDFSUtils

package com.example.utils.hdfs;

import com.alibaba.fastjson.JSONObject;
import com.example.utils.properties.HDFSPropertiesUtils;
import org.apache.commons.lang3.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;
import org.springframework.web.multipart.MultipartFile;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URI;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**
 * @ClassName HDFSUtils
 * @Date 2020/8/26 15:25
 */
public class HDFSUtils {

    private static String hdfsPath;
    private static String hdfsName;
    private static final int bufferSize = 1024 * 1024 * 64;

    static {
        //设置成自己的
        hdfsPath= HDFSPropertiesUtils.getPath();
        hdfsName=HDFSPropertiesUtils.getUserName();
    }

    /**
     * 获取HDFS配置信息
     * @return
     */
    private static Configuration getConfiguration() {
        Configuration configuration = new Configuration();
        configuration.set("fs.defaultFS", hdfsPath);
        configuration.set("HADOOP_USER_NAME",hdfsName);
        return configuration;
    }

    /**
     * 获取HDFS文件系统对象
     * @return
     * @throws Exception
     */
    public static FileSystem getFileSystem() throws Exception {
        /*
        //通过这种方式设置java客户端访问hdfs的身份：会以 ypp 的身份访问 hdfs文件系统目录下的路径：/user/ypp 的目录
        System.setProperty("HADOOP_USER_NAME","ypp");
        Configuration configuration = new Configuration();
        configuration.set("fs.defauleFS","hdfs://ypp:9090");
        FileSystem fileSystem = FileSystem.get(configuration);
         */

        /*
        客户端去操作hdfs时是有一个用户身份的，默认情况下hdfs客户端api会从jvm中获取一个参数作为自己的用户身份
        也可以在构造客户端fs对象时，通过参数传递进去
        FileSystem fileSystem = FileSystem.get(new URI(hdfsPath), getConfiguration(), hdfsName);
        */
        FileSystem fileSystem = FileSystem.get(new URI(hdfsPath), getConfiguration());
        return fileSystem;
    }

    /**
     * 在HDFS创建文件夹
     * @param path
     * @return
     * @throws Exception
     */
    public static boolean mkdir(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return false;
        }
        if (existFile(path)) {
            return true;
        }
        FileSystem fs = getFileSystem();
        // 目标路径
        Path srcPath = new Path(path);
        boolean isOk = fs.mkdirs(srcPath);
        fs.close();
        return isOk;
    }

    /**
     * 判断HDFS文件是否存在
     * @param path
     * @return
     * @throws Exception
     */
    public static boolean existFile(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return false;
        }
        FileSystem fs = getFileSystem();
        Path srcPath = new Path(path);
        boolean isExists = fs.exists(srcPath);
        return isExists;
    }

    /**
     * 读取HDFS目录信息
     * @param path
     * @return
     * @throws Exception
     */
    public static List<Map<String, Object>> readPathInfo(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return null;
        }
        if (!existFile(path)) {
            return null;
        }
        FileSystem fs = getFileSystem();
        // 目标路径
        Path newPath = new Path(path);
        FileStatus[] statusList = fs.listStatus(newPath);
        List<Map<String, Object>> list = new ArrayList<>();
        if (null != statusList && statusList.length > 0) {
            for (FileStatus fileStatus : statusList) {
                Map<String, Object> map = new HashMap<>();
                map.put("filePath", fileStatus.getPath());
                map.put("fileStatus", fileStatus.toString());
                list.add(map);
            }
            return list;
        } else {
            return null;
        }
    }

    /**
     * HDFS创建文件
     * @param path
     * @param file
     * @throws Exception
     */
    public static void createFile(String path, MultipartFile file) throws Exception {
        if (StringUtils.isEmpty(path) || null == file.getBytes()) {
            return;
        }
        String fileName = file.getOriginalFilename();
        FileSystem fs = getFileSystem();
        // 上传时默认当前目录，后面自动拼接文件的目录
        Path newPath = new Path(path + "/" + fileName);
        // 打开一个输出流
        FSDataOutputStream outputStream = fs.create(newPath);
        outputStream.write(file.getBytes());
        outputStream.close();
        fs.close();
    }

    /**
     * 读取HDFS文件内容
     * @param path
     * @return
     * @throws Exception
     */
    public static String readFile(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return null;
        }
        if (!existFile(path)) {
            return null;
        }
        FileSystem fs = getFileSystem();
        // 目标路径
        Path srcPath = new Path(path);
        FSDataInputStream inputStream = null;
        try {
            inputStream = fs.open(srcPath);
            // 防止中文乱码
            BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream));
            String lineTxt = "";
            StringBuffer sb = new StringBuffer();
            while ((lineTxt = reader.readLine()) != null) {
                sb.append(lineTxt);
            }
            return sb.toString();
        } finally {
            inputStream.close();
            fs.close();
        }
    }

    /**
     * 读取HDFS文件列表
     * @param path
     * @return
     * @throws Exception
     */
    public static List<Map<String, String>> listFile(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return null;
        }
        if (!existFile(path)) {
            return null;
        }

        FileSystem fs = getFileSystem();
        // 目标路径
        Path srcPath = new Path(path);
        // 递归找到所有文件
        RemoteIterator<LocatedFileStatus> filesList = fs.listFiles(srcPath, true);
        List<Map<String, String>> returnList = new ArrayList<>();
        while (filesList.hasNext()) {
            LocatedFileStatus next = filesList.next();
            String fileName = next.getPath().getName();
            Path filePath = next.getPath();
            Map<String, String> map = new HashMap<>();
            map.put("fileName", fileName);
            map.put("filePath", filePath.toString());
            returnList.add(map);
        }
        fs.close();
        return returnList;
    }

    /**
     * HDFS重命名文件
     * @param oldName
     * @param newName
     * @return
     * @throws Exception
     */
    public static boolean renameFile(String oldName, String newName) throws Exception {
        if (StringUtils.isEmpty(oldName) || StringUtils.isEmpty(newName)) {
            return false;
        }
        FileSystem fs = getFileSystem();
        // 原文件目标路径
        Path oldPath = new Path(oldName);
        // 重命名目标路径
        Path newPath = new Path(newName);
        boolean isOk = fs.rename(oldPath, newPath);
        fs.close();
        return isOk;
    }

    /**
     * 删除HDFS文件
     * @param path
     * @return
     * @throws Exception
     */
    public static boolean deleteFile(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return false;
        }
        if (!existFile(path)) {
            return false;
        }
        FileSystem fs = getFileSystem();
        Path srcPath = new Path(path);
        boolean isOk = fs.deleteOnExit(srcPath);
        fs.close();
        return isOk;
    }

    /**
     * 上传HDFS文件
     * @param path
     * @param uploadPath
     * @throws Exception
     */
    public static void uploadFile(String path, String uploadPath) throws Exception {
        if (StringUtils.isEmpty(path) || StringUtils.isEmpty(uploadPath)) {
            return;
        }
        FileSystem fs = getFileSystem();
        // 上传路径
        Path clientPath = new Path(path);
        // 目标路径
        Path serverPath = new Path(uploadPath);

        // 调用文件系统的文件复制方法，第一个参数是否删除原文件true为删除，默认为false
        fs.copyFromLocalFile(false, clientPath, serverPath);
        fs.close();
    }

    /**
     * 下载HDFS文件
     * @param path
     * @param downloadPath
     * @throws Exception
     */
    public static void downloadFile(String path, String downloadPath) throws Exception {
        if (StringUtils.isEmpty(path) || StringUtils.isEmpty(downloadPath)) {
            return;
        }
        FileSystem fs = getFileSystem();
        // 上传路径
        Path clientPath = new Path(path);
        // 目标路径
        Path serverPath = new Path(downloadPath);

        // 调用文件系统的文件复制方法，第一个参数是否删除原文件true为删除，默认为false
        fs.copyToLocalFile(false, clientPath, serverPath);
        fs.close();
    }

    /**
     * HDFS文件复制
     * @param sourcePath
     * @param targetPath
     * @throws Exception
     */
    public static void copyFile(String sourcePath, String targetPath) throws Exception {
        if (StringUtils.isEmpty(sourcePath) || StringUtils.isEmpty(targetPath)) {
            return;
        }
        FileSystem fs = getFileSystem();
        // 原始文件路径
        Path oldPath = new Path(sourcePath);
        // 目标路径
        Path newPath = new Path(targetPath);

        FSDataInputStream inputStream = null;
        FSDataOutputStream outputStream = null;
        try {
            inputStream = fs.open(oldPath);
            outputStream = fs.create(newPath);

            IOUtils.copyBytes(inputStream, outputStream, bufferSize, false);
        } finally {
            inputStream.close();
            outputStream.close();
            fs.close();
        }
    }

    /**
     * 打开HDFS上的文件并返回byte数组
     * @param path
     * @return
     * @throws Exception
     */
    public static byte[] openFileToBytes(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return null;
        }
        if (!existFile(path)) {
            return null;
        }
        FileSystem fs = getFileSystem();
        // 目标路径
        Path srcPath = new Path(path);
        try {
            FSDataInputStream inputStream = fs.open(srcPath);
            return IOUtils.readFullyToByteArray(inputStream);
        } finally {
            fs.close();
        }
    }

    /**
     * 打开HDFS上的文件并返回java对象
     * @param path
     * @return
     * @throws Exception
     */
    public static <T extends Object> T openFileToObject(String path, Class<T> clazz) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return null;
        }
        if (!existFile(path)) {
            return null;
        }
        String jsonStr = readFile(path);
        return JSONObject.parseObject(jsonStr, clazz);
    }

    /**
     * 获取某个文件在HDFS的集群位置
     * @param path
     * @return
     * @throws Exception
     */
    public static BlockLocation[] getFileBlockLocations(String path) throws Exception {
        if (StringUtils.isEmpty(path)) {
            return null;
        }
        if (!existFile(path)) {
            return null;
        }
        FileSystem fs = getFileSystem();
        // 目标路径
        Path srcPath = new Path(path);
        FileStatus fileStatus = fs.getFileStatus(srcPath);
        return fs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
    }

}

注意容易出现权限问题，由于开发阶段我都是用的自己windows安装的，HADOOP_USER_NAME直接用的administrator

 

文件内容

上传文件

上传文件 hadoop namenode日志

查看HDFS文件

hadoop fs -ls /user/ypp/ypp #查看指定目录下的文件和文件夹。/user/ypp/ypp 是HDFS上的目录，不是本地目录，命令不分操作系统

查看文件内容

hadoop fs -cat /user/ypp/ypp/111.txt #查看文件内容,这里涉及到中文乱码了(后面补充解决)，同样是HDFS上的目录，不是本地目录，命令不分操作系统

读取文件内容

ypp91zr
关注
专栏目录
利用JAVA代码将本地文件传入HDFS中
yanzhenjinghong的博客
06-28 2341
先创建hdfs存储路径作为输出流，然后把本地文件存储路径作为输入流，利用copyBytes方法将本地文件上传到hdfs输出流的路径就大功告成了！在 C:\Windows\System32\drivers\etc 中修改hosts文件，将虚拟机的hostname和ip写在文件底部。2.在系统变量里配置HADOOP_HOME和JAVA_HOME，并配置PATH。首先要下载hadoop_lib包，然后在IDEA里面导入这个包。要一次性上传完这些文件，需要循环读取文件名字，代码如下。hdfs中存在文件，上传成功！
java-从本地上传到HDFS
MySQL中主从连接可能出现的问题
12-30 457
java-从本地上传到HDFS
Java实现远程HDFS的文件操作（新建、上传、下载、删除）
SuYuMingXiangGuan的博客
06-05 2722
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSTest01 { public static
java上传文件到HDFS
eff666的博客
11-09 9824
java上传本地文件到HDFS。 1、pom依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0-cdh5.5.1</version> </dependency><dependency> <groupId>or
Java上传本地文件到HDFS
zhangvalue的博客
02-09 1809
Java上传本地文件到HDFS /** * @ Author zhangsf * @CreateTime 2022/2/9 - 4:33 PM */ package SparkWordCount; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class CopyFile { public
上传文件到HDFS
10-30
上传文件到HDFS的java代码实现。已经测试了，可以直接运行。
用java上传本地文件到hdfs文件中
weixin_35753291的博客
12-21 1363
在Java中，要将本地文件上传到HDFS文件系统，可以使用Hadoop的FileSystem类。 首先，需要使用Hadoop的Configuration类来配置HDFS连接。 然后，使用FileSystem的get()方法获取HDFS的客户端实例，并使用copyFromLocalFile()方法将本地文件复制到HDFS。 下面是一个示例代码，假设本地文件的路径为/path/to/local/fil...
JAVA上传本地文件至HDFS
最新发布
04-26
好的，关于你的问题，JAVA上传本地文件至HDFS主要可以通过以下步骤实现： 1. 配置Hadoop环境 2. 指定Hadoop的core-site.xml和hdfs-site.xml配置文件 3. 创建HDFS文件系统对象 4. 获取本地文件路径和目标HDFS文件路径...
用Java从本地上传文件到hdfs代码
weixin_42590539的博客
02-13 345
要用Java从本地上传文件到HDFS，你可以使用Hadoop的Java API。下面是一个示例代码： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class Main { public ...
java 上传文件到hdfs_利用Java API通过路径过滤上传多文件至HDFS
weixin_35398720的博客
02-12 789
在本地文件上传至HDFS过程中，很多情况下一个目录包含很多个文件，而我们需要对这些文件进行筛选，选出符合我们要求的文件，上传至HDFS。这时就需要我们用到文件模式。 在项目开始前，我们先掌握文件模式1、文件模式在某个单一操作中处理一系列文件是很常见的。例如一个日志处理的MapReduce作业可能要分析一个月的日志量。如果一个文件一个文件或者一个目录一个目录的声明那就太麻烦了，我们可以使用通配符(w...
java上传本地文件到HDFS简单demo
猪老大唯一官方认证
01-15 1万+
本文整理了上传文件到hdfs的三种java代码，均已测试通过 1、创建maven项目  2、pom依赖 junit junit 3.8.1 test org.apache.hadoop hadoop-client 2.7.3
使用Java API对HDFS进行如下操作：文件的创建、上传、下载以及删除等操作
m0_74972727的博客
03-30 2998
熟悉HDFS的Java API中的常用接口，能使用Java API对HDFS进行如下操作：文件的创建、上传、下载以及删除等操作。
JAVA 通过数据流的方式上传文件到HDFS
zhangvalue的博客
02-18 3816
JAVA 通过数据流的方式上传文件到HDFS 源代码 /** * @ Author zhangsf * @CreateTime 2022/2/18 - 6:18 PM */ import java.io.FileInputStream; import java.io.FileOutputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import o
java 上传文件到hdfs_通过javaAPI上传文件到HDFS文件系统
weixin_39781209的博客
02-12 160
import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apac...
[转]java上传文件到HDFS
lvhdbb的博客
07-31 953
java上传本地文件到HDFS。 1、pom依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0-cdh5.5.1</ve...
java 上传文件到hdfs_hadoop的hdfs文件操作实现上传文件到hdfs
weixin_39816362的博客
02-12 206
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import java.io.File;import java.io.IOException;public class HadoopFile {private Configuration conf =null;public HadoopFile(){c...
java本地文件上传hdfs_从本地上传整个目录到hdfs的java程序
weixin_30286727的博客
02-27 991
首先在网上找了好久没有找到从本地文件系统上传整个目录到hdfs文件系统的程序，权威指南上也没有，都是单个文件上传，所以这里自己编写了一个程序，封装成jar包执行能够复制。先说明一下代码：须要手动输入两个路径，一个本地文件/目录路径，第二个是hdfs目录路径。好直接上代码：import java.io.BufferedInputStream;import java.io.File;import ja...
Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学
热门推荐
小袁同学的博客
11-21 3万+
如果还没有配置好Hadoop的可以点击链接查看如何配置 各大技术基础教学、实战开发教学（正在持续更新中······） 首先，启动Hadoop集群服务 然后在浏览器访问Hadoop，点击Browse the file system 查看HDFS文件系统的目录 可以看到目前HDFS文件系统的目录是空的，没有任何的文件和文件夹，下面开始今天的API操作 一、创建Maven项目 首先，打开IDEA，点击新建项目，在左侧中选择Maven，然后直接点击next 设置项目名称，点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值