java hdfs 2.0_Hadoop---Java-API对HDFS的操作

最新推荐文章于 2022-03-12 11:39:14 发布
最新推荐文章于 2022-03-12 11:39:14 发布
阅读量128 收藏
点赞数
文章标签： java hdfs 2.0
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_28323057/article/details/114145476
版权

Java-API对HDFS的操作

哈哈哈哈，深夜来一波干货哦！！！

Java-PAI对hdfs的操作，首先我们建一个maven项目，我主要说，我们可以通过Java代码来对HDFS的具体信息的打印，然后用java代码实现上传文件和下载文件，以及对文件的增删。

首先来介绍下如何将java代码和HDFS联系起来，HDFS是分布式文件系统,说通俗点就是用的存储的数据库,是hadoop的核心组件之一,其他还有mapreduce,yarn.其实也就是我们通过java代码来访问这个这个系统。然后进行操作等等。。java中导入jar包来进行编码操作。

我们这里使用pom.xml导入依赖的方式，还有种1中方式就是lib(通俗易懂就是导入jar包)。

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

4.0.0

hu-hadoop1

k

0.0.1-SNAPSHOT

jar

k

http://maven.apache.org

UTF-8

junit

junit

3.8.1

test

org.apache.hadoop

hadoop-common

2.6.0

provided

org.apache.hadoop

hadoop-hdfs

2.6.0

provided

org.apache.hadoop

hadoop-mapreduce-client-app

2.6.0

provided

org.apache.hadoop

hadoop-mapreduce-client-common

2.6.0

provided

然后我们就可以开始进入编码阶段了。

首先建一个类HDFSDemo1

谈谈如何访问HDFS的方法：在下提出3种方法.分别一下列出。清晰可见在下的真心实意。

方式一：使用 使用hfds api 操作hadoop

package com.bw.day01;

import java.io.InputStream;

import java.net.URL;

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;

import org.apache.hadoop.io.IOUtils;/**

* 相对较老的hdfs api 使用java api也是可以访问hdfs的

* @author huhu_k

**/

public classHDFSDemo1 {static{

URL.setURLStreamHandlerFactory(newFsUrlStreamHandlerFactory());

}public static voidmain(String[] args) throws Exception {

URL url= new URL("hdfs://hu-hadoop1:8020/1708as1/f1.txt");

InputStream openStream=url.openStream();

IOUtils.copyBytes(openStream, System.out, 4096);

}

}

方式二：相对较老的hdfs api 进行访问

package com.bw.day01;

import java.text.SimpleDateFormat;

import java.util.Date;

import java.util.HashMap;

import java.util.Map;

import java.util.Map.Entry;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.hdfs.DistributedFileSystem;

import org.apache.hadoop.hdfs.protocol.DatanodeInfo;

/**

* 使用hfds api 操作hadoop

*

* @author huhu_k

*

*/

public class HDFSDemo2 {

public static void main(String[] args) throws Exception {

// 1.step 配置容器 可以配置

Configuration conf = new Configuration();

conf.set("fs.default.name", "hdfs://hu-hadoop1:8020");

// 2.step

FileSystem fs = FileSystem.get(conf);

DistributedFileSystem dfs = (DistributedFileSystem) fs;

DatanodeInfo[] di = dfs.getDataNodeStats();

for (DatanodeInfo d : di) {

//datanode的一些信息

System.out.println(d.getBlockPoolUsed());

System.out.println(d.getCacheCapacity());

System.out.println(d.getCapacity());

System.out.println(d.getDfsUsed()); // 地址

System.out.println(d.getInfoAddr()); // 状态

System.out.println(d.getAdminState());

System.out.println("----------------------------");

// System.out.println(d.getDatanodeReport());

SimpleDateFormat sdf = new SimpleDateFormat("EEE MMM dd HH:mm:ss z yyyy", java.util.Locale.US);

String value = d.getDatanodeReport();

Map map1 = new HashMap<>();

Map map2 = new HashMap<>();

Map map3 = new HashMap<>();

int flag = 0;

String[] str1 = value.split("\\n");

for (String s : str1) {

String[] str2 = s.split(": ");

if (0 == flag) {

if ("Last contact".equals(str2[0])) {

String format = sdf.format(new Date(str2[1]));

Date date = sdf.parse(format.toString());

//最后一次访问hdfs 和现实的时间戳==心跳

System.out.println(System.currentTimeMillis() - date.getTime());

System.out.println(System.currentTimeMillis());

System.out.println(date.getTime());

}

map1.put(str2[0], str2[1]);

} else if (1 == flag) {

map2.put(str2[0], str2[1]);

} else {

map3.put(str2[0], str2[1]);

}

}

System.out.println("----------------------------");

for (Entry m1 : map1.entrySet()) {

System.out.println(m1.getKey() + "---" + m1.getValue());

}

for (Entry m2 : map1.entrySet()) {

System.out.println(m2.getKey() + "---" + m2.getValue());

}

for (Entry m3 : map1.entrySet()) {

System.out.println(m3.getKey() + "---" + m3.getValue());

}

}

}

}

注意:　　以上代码好多没用的，我觉得最有用得就是 getDatanodeReport(); 所以我只说只一个，结果如下：

4f700d35d6a02aa72e435e7164afd78b.png

可以一眼就看出来它的用处了吧。

方式三：使用配置文件的方法+fs.newInstance(Conf):

这里的配置文件是从虚拟机上的hadoop/etc里面。分别为core.site.xml和hdfs-site.xml

core-site.xml

fs.defaultFS

hdfs://hu-hadoop1:8020

io.file.buffer.size

4096

hadoop.tmp.dir

/home/bigdata/tmp

hdfs-site.xml

dfs.replication

3

dfs.block.size

134217728

dfs.namenode.name.dir

file:///home/hadoopdata/dfs/name

dfs.datanode.data.dir

file:///home/hadoopdata/dfs/data

fs.checkpoint.dir

file:///home/hadoopdata/checkpoint/dfs/cname

fs.checkpoint.edits.dir

file:///home/hadoopdata/checkpoint/dfs/cname

dfs.http.address

hu-hadoop1:50070

dfs.secondary.http.address

hu-hadoop2:50090

dfs.webhdfs.enabled

true

dfs.permissions

false

将这两个文件写入到src下：建一个HDFSDemo3  然后开始编码：

文件的删除1：

public static void main(String[] args) throws Exception {

Configuration conf = new Configuration();

// hadoop路径

FileSystem fs = FileSystem.newInstance(conf);

// 本地得路径

LocalFileSystem localFileSystem = FileSystem.getLocal(conf);

// mkdir创建文件夹

Path path = new Path("/1708as1/hehe.txt");

if (fs.exists(path)) {

// fs.delete(path);默认递归删除

fs.delete(path, true);// false:不是递归 true：递归

System.out.println("------------------");

fs.mkdirs(new Path("/1708a1/f1.txt"));

} else {

fs.mkdirs(path);

System.out.println("------------------****");

}

}

aa9bffd12e343b90677f9ad055ff25e8.png

创建一个文件并写入内容：

5c7ac903be6e27df96fa7a338da34ece.png

下载文件：

方法一：

8d43547fffe94ec82f182cd1d9f5e212.png

方法二：

49feef757e5aad101c6b59e05f06c3dd.png

上传文件：

方式一:

58d8b25f08327198588640ee2838539d.png

方式二:

e941c15c6e38799d292c40d532340d7b.png

下载文件：

合并下载：

方法一：

package com.bw.day01;

import org.apache.hadoop.fs.FSDataInputStream;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.LocalFileSystem;

import org.apache.hadoop.fs.LocatedFileStatus;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.fs.RemoteIterator;

import org.apache.hadoop.io.IOUtils;

import com.bw.day01.util.FSUtils;

/**

* 合并下载

*

* @author huhu_k

*

*/

public class HDFSDemo5 {

public static void main(String[] args) throws Exception {

FileSystem fs = FSUtils.getFileSystem();

LocalFileSystem lfs = FSUtils.getLocalFileSystem();

Path hadoop = new Path("/1708as1");

Path local = new Path("E:\\data\\hehe.txt");

FSDataOutputStream out = lfs.create(local);

//递归 Iterator是指定目录下的所有文件路径没有文件夹的

RemoteIterator listFiles = fs.listFiles(hadoop, true);

while (listFiles.hasNext()) {

LocatedFileStatus next = listFiles.next();

// System.out.println(next.getPath());

FSDataInputStream in = fs.open(next.getPath());

IOUtils.copyBytes(in, out, 4096, false);

}

IOUtils.closeStream(out);

System.out.println("OK!");

}

}

02a818f48e37a262ff0f7c6533185d7d.png

方法二：

package com.bw.day01;

import java.util.ArrayList;

import java.util.List;

import org.apache.hadoop.fs.FSDataInputStream;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.LocalFileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IOUtils;

import com.bw.day01.util.FSUtils;

/**

* 合并下载

*

* @author huhu_k

*

*/

public class HDFSDemo6 {

static List list = new ArrayList<>();

public static void main(String[] args) throws Exception {

FileSystem fs = FSUtils.getFileSystem();

LocalFileSystem lfs = FSUtils.getLocalFileSystem();

Path hadoop = new Path("/1708as1");

Path local = new Path("E:\\data\\haha.txt");

copy(hadoop, fs);

FSDataInputStream in = null;

FSDataOutputStream out = lfs.create(local);

for (Path p : list) {

System.out.println(p.toString());

in = fs.open(p);

out.writeUTF("\n");

out.writeUTF("file:" + p.toString());

out.writeUTF("\n");

IOUtils.copyBytes(in, out, 4096, false);

}

IOUtils.closeStream(out);

}

/**

* 使用递归得到文件所有目录

* @param hadoop

* @param fs

* @throws Exception

*/

public static void copy(Path hadoop, FileSystem fs) throws Exception {

FileStatus[] lFileStatus = fs.listStatus(hadoop);

for (FileStatus f : lFileStatus) {

if (fs.isDirectory(f.getPath())) {

// System.out.println("目录：" + f.getPath());

copy(f.getPath(), fs);

} else if (fs.isFile(f.getPath())) {

// System.out.println("wenjian:" + f.getPath());

list.add(f.getPath());

}

}

}

}

1ba6b3495d1fd99a563647888ce527de.png

原样下载：

package com.bw.day01;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.LocalFileSystem;

import org.apache.hadoop.fs.Path;

import com.bw.day01.util.FSUtils;

/**

* 原样下载

*

* @author huhu_k

*

*/

public class HDFSDemo7 {

public static void main(String[] args) throws Exception {

FileSystem fs = FSUtils.getFileSystem();

LocalFileSystem lfs = FSUtils.getLocalFileSystem();

System.out.println("++++++++");

copey(new Path("/1708as1"), fs, lfs);

}

public static void copey(Path path, FileSystem fs, LocalFileSystem lfs) throws Exception {

Path p = new Path("/");

FileStatus[] listStatus = fs.listStatus(path);

for (FileStatus l : listStatus) {

String[] str = l.getPath().toString().split("8020/1708as1");

if (fs.isDirectory(l.getPath())) {

if (str.length > 1) {

p = new Path(str[1]);

System.out.println(p + "---------------");

}

lfs.mkdirs(new Path("E:/data" + l.toString()));

copey(l.getPath(), fs, lfs);

} else if (fs.isFile(l.getPath())) {

if (str.length > 1) {

p = new Path("E:/data" + str[1]);

System.out.println(p.toString() + "---");

}

fs.copyToLocalFile(l.getPath(), p);

}

}

}

1b23bdd4abd0cf5dfa82b8bc8efeb223.png

再加一個吧。

原文件上传：

package com.bw.day01;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.LocalFileSystem;

import org.apache.hadoop.fs.Path;

import com.bw.day01.util.FSUtils;

/**

* 文件原样上传

*

* @author huhu_k

*

*/

public class HDFSDemo8 {

public static void main(String[] args) throws Exception {

FileSystem fs = FSUtils.getFileSystem();

LocalFileSystem lfs = FSUtils.getLocalFileSystem();

System.out.println();

upLoadFile(new Path("E:\\data"), fs, lfs);

System.out.println("OK!!");

}

public static void upLoadFile(Path path, FileSystem fs, LocalFileSystem fls) throws Exception {

Path p = new Path("/");

FileStatus[] listStatus = fls.listStatus(path);

for (FileStatus l : listStatus) {

String str1[] = l.getPath().toString().split("data");

String[] str2 = l.getPath().toString().split(":/");

String truePath = str2[1] +":/"+ str2[2];

if (fls.isDirectory(new Path(truePath))) {

if (str1.length > 1) {

p = new Path("/1708a1" + str1[1]);

}

fs.mkdirs(p);

System.out.println(p.toString() + "目录*****");

upLoadFile(l.getPath(), fs, fls);

} else if (fls.isFile(new Path(truePath))) {

if (str1.length > 1) {

p = new Path("/1708a1" + str1[1]);

}

fs.copyFromLocalFile(l.getPath(), p);

System.out.println(p.toString() + "文件*****");

}

}

}

}

1dd06e726587eef6bb182b269c0cb28f.png

注意：

可能在运行时报指针异常！！！

可以参考以下链接解决:https://www.cnblogs.com/meiLinYa/p/9136771.html

还有在Java-API对hdfs操作时要开启服务 start-all-sh.

ad182e5b14320c27157357edcbadd8af.png

然后主要的都讲完了！！怎么样是波狗粮吧。。。。

huhu_L：深夜的狗粮吃的最撑哦！！！

味离
关注
java代码实现hadoop的HDFS连接操作-编写API
m0_62642719的博客
05-23 2491
步骤一：在虚拟机上安装好hadoop并启动，在本地Windows配置好本地hadoop插件。（篇幅过长略可自行查询有关操作）。 步骤二：启动IDEA新建Maven工程。配置pom.xml文件（导入相关依赖）具体如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XM
Hadoop的HDFS Java pai 读写操作
韩小菜的博客
01-17 474
/* * * 将本地文件或者HDFS上的某个文件内容写入到新的文件中 * 新的文件是HDFS上创建的 * */ import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.io.IOException; import java.
java 操作hdfs_hadoop学习笔记（五）：java api 操作hdfs
weixin_39564617的博客
02-15 515
HDFS的Java访问接口1)org.apache.hadoop.fs.FileSystem是一个通用的文件系统API，提供了不同文件系统的统一访问方式。2)org.apache.hadoop.fs.Path是Hadoop文件系统中统一的文件或目录描述，类似于java.io.File对本地文件系统的文件或目录描述。3)org.apache.hadoop.conf.Configuration读取、解...
java.io.NotSerializableException: org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplem
向阳争渡
08-20 3729
在开发[Spark Streaming 读取Kafka数据写入HBASE]一套流程中，遇到了很多关于Serializable的问题： 1、kafka是一种C-S架构，producer产生的消息经过序列化后才能在网络上传播 2、Spark的transform序列化 3、在将DStream数据写入HBASE时，写入的操作时，需要在foreach算子中访问外部的HTable、Connection等...
Hbase2.0.2之JavaAPI
u012893747的博客
12-03 4822
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.*; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbas...
hdfs_design.rar_HDFS-OPERATE_hadoop_hadoop java_hdfs
09-23
在“hdfs_operate”这部分，你将了解到如何通过Hadoop的命令行工具或者Java API来操作HDFS。例如，使用`hadoop fs -put`命令将本地文件上传到HDFS，使用`hadoop fs -get`下载文件，`hadoop fs -rm`删除文件，以及...
hdfs-over-ftp-hadoop-0.20.0.rar_ftp_ftpoverhdfs_hdfs文件传入ftp_java
09-14
"java_hadoop"和"java_hdfs-over-ftp"表明这个实现是用Java编写的，并且是针对Hadoop平台的，这符合Hadoop通常的开发语言和API。 压缩包子文件 "hdfs-over-ftp-hadoop-0.20.0" 没有提供具体的文件名，但我们可以...
hadoop_test.rar_API_client_hadoop test 作用_hadoop test_hadoop-te
09-23
2. **Hadoop配置**：理解如何配置Hadoop环境，包括`core-site.xml`, `hdfs-site.xml`等配置文件的设置。 3. **错误处理和容错**：学习如何处理API调用中可能出现的异常，并理解HDFS的自动故障恢复机制。 4. **性能...
hadoop-hdfs-client-2.9.1-API文档-中英对照版.zip
06-12
赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar； 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar； 赠送Maven依赖信息文件：hadoop-hdfs-client-2.9.1.pom； 包含翻译后的API文档：hadoop-hdfs-client-...
hdfs-webdav.rar_hadoop_hadoop webdav_hadoop 系统_hadoop2.0 d_hdfs
09-20
标题中的"hdfs-webdav.rar"表明这是一个关于Hadoop分布式文件系统（HDFS）与WebDAV集成的压缩包资源。WebDAV是一种基于HTTP协议的协议，允许用户编辑和管理存储在远程服务器上的文件。在Hadoop生态系统中，通过...
hadoop jar包_4、Intelij+Maven搭建Hadoop项目流程
weixin_39671374的博客
11-27 178
1创建工程点击project——Maven——next2通过maven导入项目依赖jar包（1）设置maven自动导入依赖jar包勾选 Import Maven projects automatically,点击apply(2)配置pom.xml文件pom.xml配置文件如下：<?xml version="1.0" encoding="UTF-8"?> <project xmln...
java代码实现hdfs
qq_46665939的博客
12-16 828
package examples; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import java.io.*; public class HDFSApi { //判断路径是否存在 public static boolean test(Configuration conf,String path) throws IOException{ FileSystem fs = FileSys
IOUtils—org.apache.hadoop.io.IOUtils
热门推荐
底层码农
03-27 1万+
一、常用方法 copyBytes 实现流的对拷 //HDFS文件上传 create @Test public void putFileToHDFS() throws IOException, InterruptedException, URISyntaxException { // 1 获取文件系统 Configuration configuration = new Config...
Spark序列化问题 java.io.NotSerializableException:org.apache.hadoop.hbase.io.ImmutableBytesWritable
一只菜鸡
08-05 1420
java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytesWritable 文件再经过网络传输应经过序列化， 网络传输是二进制传输 val sparkConf = new SparkConf() .setAppName("ReadHBaseTableDataSpark") .set...
hdfs的javaAPI操作
Carina_____的博客
09-06 589
hdfs的javaAPI操作 *递归遍历hdfs上面所有的文件出来 */ @Test public void getAllFile() throws IOException { //获取文件系统 FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"),new Configuration()); fileSystem.listStatus(new Path("hdfs:
Caused by: java.io.NotSerializableException: org.apache.parquet.schema.MessageType
qq_31866793的博客
05-21 1045
目前没解决，本地代码可以运行，打包集群运行也没问题，可能是zeppelin哪里的依赖包冲突。 scala任务代码 Head default %flink.conf flink.execution.packages org.apache.flink:flink-connector-kafka_2.11:1.11.2,com.alibaba:fastjson:1.2.60,org.apache.flink:flink-parquet_2.11:1.1...
Docker中快速搭建hadoop3.2.1集群
bobi1024的博客
03-12 2926
docker快速搭建hadoop3.2.1
hdfs 拷贝文件 java_使用java API操作hdfs--拷贝部分文件到hdfs
weixin_35275781的博客
02-24 1489
要求如下：自行在本地文件系统生成一个大约一百多字节的文本文件，写一段程序(可以利用Java API或C API)，读入这个文件，并将其第101-120字节的内容写入HDFS成为一个新文件。import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.io.OutputStream...
maven引入hadoop_Maven引入hadoop依赖包出错解决办法
weixin_28746457的博客
01-27 1257
标签：错误：ArtifactTransferException: Failure to transfer org.apache.hadoop:hadoop-hdfs:jar:2.6.0 from http://localhost:8081/nexus/content/groups/public/was cached in the local repository, resolution will...
Python库edmunds_hdfs_load-1.2-py2.7.egg使用指南
- **hdfs**：代表Hadoop分布式文件系统，指出该库可能与HDFS操作有关。 - **开发语言**：再次强调了这是一个软件开发工具。 - **hadoop**：指向了Hadoop生态系统的使用，Hadoop是一个开源框架，允许使用简单编程模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值