hadoop 文件上传

已于 2022-02-27 09:39:06 修改
阅读量1.2w 收藏 25
点赞数 1
分类专栏： hadoop bigdata 文章标签： hadoop hdfs mapreduce
于 2020-02-01 21:54:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/clj198606061111/article/details/104138954
版权

hdsf 本质上就是一个分布式文件系统，只是相对于普通计算机来说，它可以很容易横向扩展，自带高可用机制。

我们要在Hadoop做MapReduce计算的时候，就需要把写好的程序打成jar包放到hdfs上。hadoop提供多种方式方式让你能够把文件放入hdfs，比如 自带的shell命令行客户端put命令，java客户端的FileSystem，REST的HDFS API（WebHDFS与HttpFS）。

命令行上传

hadoop shell 的 put 命令直接把本地文件上传到hdfs。

使用方法：hadoop fs -put <localsrc> ... <dst>

从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。
hadoop fs -put localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
hadoop fs -put - hdfs://host:port/hadoop/hadoopfile
从标准输入中读取输入。
返回值：

成功返回0，失败返回-1。

hadoop shell 官方文档：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

Java客户端上传

我们做工程化、平台化后，需要通过程序与hadoop进行交换，hadoop提供了FileSystem 工具类供我们使用。

FileSystem官方文档：http://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html

普通上传

普遍上传很简单，直接构建FileSystem的实例，调用API上传即可。需要注意的是fs.defaultFS这个配置项的值是活动的namenode地址+端口。

eg.1

public class CopyToHDFS {
    public static void main(String[] args) throws IOException {
         
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://active.namenode.host:9000");
         
        FileSystem fs = FileSystem.get(conf);
         
        fs.copyFromLocalFile(new Path("/home/lance/log.txt"), new Path("/log"));
    }
}

eg.2

import org.apache.commons.io.FileUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.File;
import java.io.IOException;
import java.io.InputStream;

public class HdfsUpload {

    public static void main(String[] args) throws IOException {

        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://active.namenode.host:9000");
        FileSystem fs = FileSystem.get(conf);

        String remoteDst = "/user/hive/devbak/itclj/abc112234.txt";
        File inputFile = new File("D:/abc112233.txt");
        InputStream in = FileUtils.openInputStream(inputFile);


        FSDataOutputStream out = fs.create(new Path(remoteDst));
        IOUtils.copyBytes(in, out, conf);
    }

}

eg.3 通过代理账号上传

package com.itclj;

import com.itclj.kerberos.KerberosLogin;
import org.apache.commons.io.FileUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.security.UserGroupInformation;

import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.security.PrivilegedExceptionAction;

/**
 * @Author lujun.chen
 * @Date 2020/2/1 13:33
 * @Version 1.0
 */
public class HdfsUpload {

    public static void main(String[] args) throws IOException, InterruptedException {

        KerberosLogin login = new KerberosLogin();
        login.login();

        //直接上传
        //upload();

        //通过代理账号上传
        userProxyUpload();
    }


    public static void upload() throws IOException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://dptestservice1");//HA 模式的Hadoop集群
        //FileSystem fs = FileSystem.get(new URI("hdfs://s01cq-app-196-43-msxf.host:9000"), conf, "hive");
        FileSystem fs = FileSystem.get(conf);

        String remoteDst = "/user/hive/devbak/itclj/abc112234.txt";
        File inputFile = new File("D:/abc112233.txt");
        InputStream in = FileUtils.openInputStream(inputFile);


        FSDataOutputStream out = fs.create(new Path(remoteDst));
        IOUtils.copyBytes(in, out, conf);

        out.close();
        in.close();
        fs.close();

        System.out.println("===================");
    }

    public static void userProxyUpload() throws IOException, InterruptedException {
        String userProxy = "dsp";
        UserGroupInformation currentUser = UserGroupInformation.getCurrentUser();
        UserGroupInformation proxyUser = UserGroupInformation.createProxyUser(userProxy, currentUser);
        boolean rest = proxyUser.doAs(new PrivilegedExceptionAction<Boolean>() {

            public Boolean run() throws Exception {
                upload();
                return true;
            }
        });

        System.out.print("rest=" + rest);
    }

}

eg.4 上传限流

@Override
public HdfsOptVO upload(String path, InputStream inputStream) {
    try (FileSystem fs = buildFileSystem()) {
        try (FSDataOutputStream out = fs.create(new Path(path))) {
            DataTransferThrottler throttler = new DataTransferThrottler(hdfsDataTransferThrottlerSize);//限流
            byte buf[] = new byte[hdfsBufferSize];
            int bytesRead = inputStream.read(buf);
            while (bytesRead >= 0) {
                out.write(buf, 0, bytesRead);
                bytesRead = inputStream.read(buf);
                throttler.throttle(bytesRead);
            }
            //IOUtils.copyBytes(inputStream, out, 4096);
            inputStream.close();
        }
    } catch (Exception ex) {
        logger.error("HDFS文件上传失败，path: {}", path, ex);
        throw new DspException(CodeEnum.HDFS_OPT_UPLOAD_ERROR.getCode(), "文件上传出错，" + ex.getMessage());
    }

    return new HdfsOptVO.Builder().hdfsUri(HDFS_PROTOCOL + path).build();
}

HA模式的hadoop集群文件上传

HA模式的Hadoop集群文件上传，代码和普通模式都一样的，fs.defaultFS配置项改为集群名称(hdfs://dptestservice1)，但是单纯改这个值肯定是不行的，系统会报如下错误：

Exception in thread "main" java.lang.IllegalArgumentException: java.net.UnknownHostException: dptestservice1

主要还是工程缺少必要的Hadoop属性配置，配置属性方式一般有两种：一种是直接把hadoop的配置文件放到工程目录下，在配置文件里面设置属性；一种是如上所示，用set方法设置。

以下就是所需的关键属性，属性值得和自己集群的配置的属性值一样。

core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://dptestservice1</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>

  <property>
    <name>dfs.nameservices</name>
    <value>dptestservice1</value>
  </property>
  
  <property>
    <name>dfs.ha.namenodes.dptestservice1</name>
    <value>namenode148,namenode133</value>
  </property>
  
  <property>
    <name>dfs.namenode.rpc-address.dptestservice1.namenode148</name>
    <value>s01cq-app-196-39-itclj.host:9000</value>
  </property>
  
  <property>
    <name>dfs.namenode.rpc-address.dptestservice1.namenode133</name>
    <value>s01cq-app-196-43-itclj.host:9000</value>
  </property>
  
  <property>
    <name>dfs.client.failover.proxy.provider.dptestservice1</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  
</configuration>

eg

package com.itclj;

import com.itclj.kerberos.KerberosLogin;
import org.apache.commons.io.FileUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

import java.io.File;
import java.io.IOException;
import java.io.InputStream;

/**
 * @Author lujun.chen
 * @Date 2020/2/1 13:33
 * @Version 1.0
 */
public class HdfsUpload {

    public static void main(String[] args) throws IOException {

        // 集群开启了开启了kerberos 认证的，需要先进行kerberos认证。
        KerberosLogin login = new KerberosLogin();
        login.login();


        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://dptestservice1");//HA 模式的Hadoop集群
        FileSystem fs = FileSystem.get(conf);

        String remoteDst = "/user/hive/devbak/itclj/abc112234.txt";
        File inputFile = new File("D:/abc112233.txt");
        InputStream in = FileUtils.openInputStream(inputFile);


        FSDataOutputStream out = fs.create(new Path(remoteDst));
        IOUtils.copyBytes(in, out, conf);
    }

}

工程代码：https://github.com/clj198606061111/hadoop-client-demo/blob/master/src/main/java/com/itclj/HdfsUpload.java

REST的API上传

hadoop提供了2套REST的API，WebHDFS与HttpFS。

  • 两者都是基于REST的HDFS API，使得一个集群外的host可以不用安装HADOOP和JAVA环境就可以对集群内的HADOOP进行访问，并且client不受语言的限制。
  • WebHDFS是HDFS内置的、默认开启的一个服务，而HttpFS是HDFS一个独立的服务，若使用需要手动安装（CDH中安装HDFS时将HttpFS勾选上即可）。
  • WebHDFS是HortonWorks开发的，然后捐给了Apache；而HttpFS是Cloudera开发的，也捐给了Apache。
  • 当client请求某文件时，WebHDFS会将其重定向到该资源所在的datanode，而HttpFs相等于一个“网关”，所有的数据先传输到该httpfs server，再由该httpfs server传输到client。

WebHDFS

官方文档：https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Open_and_Read_a_File

HttpFS

官方文档：http://hadoop.apache.org/docs/current/hadoop-hdfs-httpfs/index.html

冰上浮云
关注
  • 1
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop基础操作--上传文件到HDFS
m0_58945994的博客
10-21 3万+
一、什么是HDFS文件系统 文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。即：为用户建立文件、存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时删除文件。 现在我们的计算机基本上都是windows操作系统，文件都存储在磁盘驱动器（C、D、E盘）的文件目录中，在Linux系统中提供了树状文件目录结构，可供使用者存储或读取文件。Hadoop集群也有专有的文件系统--HDFS文件系统，也使用了类Linux的目录结构来进行...
hadoop上传和下载文件
qq_33726754的博客
11-23 2220
上传windows文件到hadoop：package test; import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.n
【Hadoop】本地文件上传到HDFS
康师傅没有眼泪
07-10 9498
需求：按照配置文件的内容解析要上传文件的路径，HDFS的目标路径，文件名格式匹配，按照不同的文件名上传到不同的HDFS目录，HDFS按照业务分目录存储文件。定义RegexLocalPathFilter类实现FileFilter接口实现文件过滤。将hdfsETL.json配置文件解析出来的JSON数组定义为List。🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅，敬请批评指正！1.3 定义UploadHdfsETLJson类。1.1 hdfsETL.json文件。将JSON数组中的元数据信息定义为类。
大数据技术之Hadoop：使用命令操作HDFS（四）
路漫漫其修远兮，吾将上下而求索
09-06 6501
在HDFS中的命令，基本上就是照搬的Linux命令。只要你熟悉Linux命令，那么HDFS命令基本上一遍过。它的目录结构和linux非常相似。举个例子：Linux 中：HDFS中：或者 hdfs dfs -mkdir -p /opt/mynote所以说，是不是没什么区别？🫢那么我们这就引出了第一个HDFS操作命令。
Hadoop实战深度解析：全面指南之文件上传至HDFS
最新发布
2303_76177437的博客
06-01 832
文件上传至HDFS是Hadoop入门的关键一步，也是进行大数据处理的基石。通过本文的详尽解析，相信你已掌握了这一基本操作，并对Hadoop的配置、管理和优化有了更深入的理解。未来，在大数据的广阔天地中，无论是数据分析、机器学习还是实时计算，Hadoop都将是你得力的伙伴。继续探索，让数据引领你的智慧之旅！
hadoopHDFS上传和下载(超级详细)
互联网知识分享
07-18 3209
HDFS采用了一种分布式的数据存储模型，将大文件切分成多个数据块，然后将这些数据块分布式地存储在一组物理节点上。8）HDFS的上传和下载操作是Hadoop框架的核心功能之一，它提供了高效且可靠的大规模数据存储和访问能力。通过上述代码示例和原理解释，您应该能够理解HDFS的上传和下载过程，并可以在实际应用中使用HDFS进行文件的上传和下载操作。下载操作涉及从多个HDFS节点获取数据块，并将这些数据块组合成完整的文件。上传操作涉及将数据切分为适当的数据块，并将这些数据块分布式地复制到HDFS集群的不同节点上。
hadoop在本地创建文件，然后将文件拷贝/上传到HDFS
m0_62110645的博客
11-23 1075
3.拷贝本地文件到HDFS，$./bin/hdfs dfs -copyFromLocal {本地文件或者文件夹名} {HDFS上的文件或者文件夹名或者./}上传本地文件到HDFS，$./bin/hdfs dfs -moveFromLocal {本地文件或者文件夹名} {HDFS上的文件或者文件夹名或者./}4.查看HDFS，使用http://localhost:{端口号}或者$./bin/hadoop fs -ls /查看。回车之后没有显示什么东西，你可以通过$ls来查看前后本地文件的变化。
实验4：hadoop文件上传.docx
10-27
Hadoop 文件上传实验 本资源主要介绍了如何使用 HDFS 进行文件上传操作，同时了解如何使用 HDFS API 进行文件上传。实验内容包括使用命令行上传文件和使用 Java API 上传文件。 Hadoop 文件上传实验主要涉及到以下...
hadoop上传文件功能实例代码
08-29
其实，从ftp上拉取文件上传到hdfs上，这个过程大家不要想复杂了，我们讲本地文件上传到hdfs，其实就是采用流的方式。因此，我们可以直接读取ftp上的文件流，然后以流的方式写入到hdfs。 下面，直接贴出代码： ```...
hadoop文件上传下载
07-25
在IT行业中，Hadoop是一个...总的来说，结合Struts2和Hadoop，你可以构建一个强大的文件管理系统，实现大规模、高性能的文件上传和下载服务。这不仅展示了Struts2的灵活性，也突显了Hadoop在大数据存储领域的强大能力。
上传文件到Hadoop失败的原因分析及解决方法.pdf
11-24
Hadoop 文件上传失败原因分析及解决方法 本文主要讨论了在 Java Web 程序中上传文件到 Hadoop HDFS 文件系统中失败的原因分析及解决方法。通过对问题的分析和解决，可以总结出以下知识点： 1. Hadoop 文件上传失败...
hadoop上传文件共5页.pdf.zip
11-21
标题“hadoop上传文件共5页.pdf.zip”暗示了这是一个关于Hadoop文件上传的文档，可能是教程或指南，共包含5页内容，并且已经被压缩成PDF格式。描述同样重申了这个信息，没有提供额外的技术细节。 【Hadoop基础知识...
Hadoop原理与技术——hdfs命令行基本操作
FGGIT的博客
12-01 7884
Hadoop原理与技术——hdfs命令行基本操作
Hadoop上传文件到hdfs中
热门推荐
m0_67391870的博客
08-16 1万+
找到dfs.permissions属性修改为false（默认为true）OK了。
Hadoop上传文件到HDFS的步骤
zwkkkhhh的博客
05-08 3886
随着大数据时代的到来，数据存储和处理变得至关重要。Hadoop作为大数据处理的基石，其分布式文件系统HDFS提供了高效、可靠的数据存储方案。本文旨在简要介绍如何使用Hadoop命令行工具将文件上传到HDFS，为大数据处理提供基础支持。1.启动Hadoop集群。
Hadoop文件上传的步骤
2301_77836489的博客
04-26 1148
Hadoop文件上传的步骤
Hadoop创建文件、上传文件、下载文件、修改文件名、删除文件精细全流程
2302_80057307的博客
05-26 608
Hadoop文件创建目录，下载文件，上传文件，删除文件，更改文件名，具体操作
Hadoop学习笔记二——HDFS分布式文件系统
qq_42053753的博客
07-17 203
hadoop fs 具体命令 OR hdfs dfs 具体命令1、新建文件夹2、上传-moveFromLocal：从本地剪切粘贴到HDFS-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去-put：等同于copyFromLocal，生产环境更习惯用put-appendToFile：追加一个文件到已经存在的文件末尾3、下载-copyToLocal：从HDFS拷贝到本地-get：等同于copyToLocal，生产环境更习惯用get-ls: 显示目录信息。
hadoop-HDFS上传下载API(超级详细)
互联网知识分享
05-08 544
String getPath().getName()、long getBlockSize()、FsPermission getPermission()、long getLen()、BlockLocation[] getBlockLocations()返回所有块，并且存放在数组。（2）static FileSystem get(new URI("hdfs://地址:9000"), 配置, "用户){...}（1）boolean rename(服务器目录1/文件1,服务器目录2/文件2)
hadoop上传文件
09-09
Hadoop提供了多种方式来上传文件。其中，最简单的方式是使用Hadoop分布式文件系统（HDFS）的命令行工具。 要上传文件到HDFS，可以使用以下命令： ``` hdfs dfs -put <本地文件路径> <目标路径> ``` 其中，`<本地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值