利用JAVA代码将本地文件传入HDFS中

已于 2023-06-28 11:58:47 修改
阅读量2.3k 收藏 9
点赞数
文章标签： java hdfs 开发语言
于 2023-06-28 11:40:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanzhenjinghong/article/details/131432469
版权

目录

一、环境配置

1.1 配置hadoop和java的环境变量

1.2 修改本地host文件

 二、编写JAVA代码

2.1 导入hadoop_lib包

2.2 读取本地文件

2.3 使用copyBytes方法将本地文件传入hdfs

三、在hdfs中查看是否上传成功

总结

一、环境配置

1.1 配置hadoop和java的环境变量

1.下载hadoop和jdk 

2.在系统变量里配置HADOOP_HOME和JAVA_HOME，并配置PATH。

3.在cmd中输入以下代码查看是否配置成功

hadoop version

java -version

 

1.2 修改本地host文件

Windows本地是不知道我们在虚拟机中的ip和hostname的，

最低0.47元/天 解锁文章
db_cxy_2061
关注
使用Java API操作HDFS
wsltedie的博客
12-16 384
wu
java获取hdfs文件md5_HDFS读流程
weixin_42119358的博客
02-27 991
客户端先与NameNode通信，获取block位置信息，之后线性地先取第一个块，然后接二连三地获取，取回一个块时会进行MD5验证，验证通过后会使read顺利进行完，当最终读完所有的block块之后，拼起来就是一个完整的源文件，数据本地化读取是分布式计算中计算向数据移动的一大特征，block块有偏移量和位置信息，HDFS分布式文件系统优化了读取性能，客户端会根据block的信息来分辨这些副本中，哪些...
上传文件到HDFS
10-30
上传文件到HDFS的java代码实现。已经测试了，可以直接运行。
hadoop文件上传步骤
最新发布
2301_77836489的博客
08-29 817
hadoop文件上传步骤
JAVA 上传本地文件到HDFS
程序员
08-28 3939
文件内容 上传文件 上传的时候加个一个文件夹路径ypp 读取文件 步入正题(代码) 本地安装的hadoop版本为3.1.3 pom.xml <properties> <java.version>1.8</java.version> <spark.version>3.0.0</spark.version> <scala.version>2.12.10&lt.
java上传文件到HDFS
eff666的博客
11-09 9808
java上传本地文件到HDFS。 1、pom依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0-cdh5.5.1</version> </dependency><dependency> <groupId>or
Java上传本地文件到HDFS
zhangvalue的博客
02-09 1802
Java上传本地文件到HDFS /** * @ Author zhangsf * @CreateTime 2022/2/9 - 4:33 PM */ package SparkWordCount; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class CopyFile { public
用java上传本地文件到hdfs文件中
weixin_35753291的博客
12-21 1336
在Java中，要将本地文件上传到HDFS文件系统，可以使用Hadoop的FileSystem类。 首先，需要使用Hadoop的Configuration类来配置HDFS连接。 然后，使用FileSystem的get()方法获取HDFS的客户端实例，并使用copyFromLocalFile()方法将本地文件复制到HDFS。 下面是一个示例代码，假设本地文件的路径为/path/to/local/fil...
通过Java代码对HDFS进行读取操作
bujiujie8的博客
01-20 5053
这里主要是利用Hadoop提供的API来操作,在本地编写代码,操作集群上的HDFS. 本篇介绍的是若干从HDFS读取文件的操作. 工具:IntelliJ IDEA Community Edition 2018.1.3   1.使用java.net.URL 使用此方法的话,需要进行一些其他操作.此处读取的是hdfs-site.xml这个配置文件,取出前100字节并输出. import ...
【Hadoop】本地文件上传到HDFS
康师傅没有眼泪
07-10 9807
需求：按照配置文件的内容解析要上传文件的路径，HDFS的目标路径，文件名格式匹配，按照不同的文件名上传到不同的HDFS目录，HDFS按照业务分目录存储文件。定义RegexLocalPathFilter类实现FileFilter接口实现文件过滤。将hdfsETL.json配置文件解析出来的JSON数组定义为List。🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅，敬请批评指正！1.3 定义UploadHdfsETLJson类。1.1 hdfsETL.json文件。将JSON数组中的元数据信息定义为类。
本地文件上传到HDFS
04-14
Hadoop HDFS的FileSystemAPI操作文件 将准备好的文件上传到hdfs的user/hadoop/music文件下
用Java从本地上传文件到hdfs代码
weixin_42590539的博客
02-13 324
要用Java从本地上传文件到HDFS，你可以使用Hadoop的Java API。下面是一个示例代码： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class Main { public ...
java-从本地上传到HDFS
MySQL中主从连接可能出现的问题
12-30 438
java-从本地上传到HDFS
java 上传文件到hdfs_利用Java API通过路径过滤上传多文件至HDFS
weixin_35398720的博客
02-12 761
在本地文件上传至HDFS过程中，很多情况下一个目录包含很多个文件，而我们需要对这些文件进行筛选，选出符合我们要求的文件，上传至HDFS。这时就需要我们用到文件模式。 在项目开始前，我们先掌握文件模式1、文件模式在某个单一操作中处理一系列文件是很常见的。例如一个日志处理的MapReduce作业可能要分析一个月的日志量。如果一个文件一个文件或者一个目录一个目录的声明那就太麻烦了，我们可以使用通配符(w...
java上传本地文件到HDFS简单demo
热门推荐
猪老大唯一官方认证
01-15 1万+
本文整理了上传文件到hdfs的三种java代码，均已测试通过 1、创建maven项目  2、pom依赖 junit junit 3.8.1 test org.apache.hadoop hadoop-client 2.7.3
上传本地文件到hdfs上
navy专栏
03-23 2650
package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import...
将本地文件上传至HDFS命令
weixin_62837637的博客
04-07 1125
将本地文件上传至HDFS命令
JAVA实现：将文件从本地上传到HDFS上、从HDFS上读取等操作
yiwaka2013的专栏
02-05 5508
一.功能实现： 1：将本地文件上传到HDFS上 2：从HDFS上读取文件到本地 3：删除HDFS上的文件 4：遍历HDFS上的文件 注： 1：导入google-collections-xx.jar文件。 2：文件目标地址要具体到文件名，而不能是文件夹。 二.代码实现： package com.hdfs; import java.io.BufferedInputStream;
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值