4.4使用Java API操作HDFS

VIP文章 已于 2022-12-14 09:52:53 修改
阅读量355 收藏 2
点赞数
文章标签： hadoop hdfs 大数据
于 2022-12-14 09:50:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_64035147/article/details/128141906
版权

文章目录

目录

文章目录

零、学习目标

一、导入新课

二、新课讲解

（一）了解HDFS Java API

1、HDFS常见类与接口

2、FileSystem的常用方法

（二）编写Java程序访问HDFS

1、创建Maven项目

2、添加相关依赖

3、创建日志属性文件

4、启动集群HDFS服务

5、在HDFS上创建文件​编辑在HDFS Shell里利用hdfs dfs -touchz命令可以创建时间戳文件

6、写入HDFS文件

7、读取HDFS文件

8、重命名目录或文件

9、显示文件列表

10、获取文件块信息

11、创建目录

12、判断目录或文件是否存在

13、判断Path指向目录还是文件

14、删除目录或文件

零、学习目标

  1. 了解HDFS Java API
  2. 掌握使用Java API操作HDFS

一、导入新课

  • 上一节对HDFS的Shell操作进行了详细的讲解，而HDFS Shell本质上就是对Java API的应用。本节课将针对HDFS Java API操作进行详细讲解。

二、新课讲解

  • 由于Hadoop是使用Java语言编写的，因此可以使用Java API操作Hadoop文件系统。HDFS Shell本质上就是对Java API的应用，通过编程的形式操作HDFS，其核心是使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。

（一）了解HDFS Java API

最低0.47元/天 解锁文章
笨҉丫҉头҉d҉e҉傻҉小҉子҉
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java对大数据HDFS文件操作
04-04
java对大数据HDFS文件操作jar包和maven2个项目,有jar包,有依赖,2个项目呦
java 读取hdfs上的文件内容
Alex的博客
12-20 8047
java 读取hdfs上的文件内容
Java 读取HDFS文件系统
anfuyi5792的博客
07-29 124
最近有个需求，计算用户画像。 系统大概有800W的用户量，算每个用户的一些数据。 数据量比较大，算用hive还是毫无压力的，但是写的oracle，在给出数据给前端，就比较难受了。 然后换了种解决方法： 　　1.hive计算，写的HDFS 　　2.API读出来，写到hbase（hdfs和hbase的版本不匹配，没办法用sqoop 直接导） 然后问题就来了。 需要写个API，读...
HDFS 的java-常用API
weixin_43799053的博客
07-29 154
package com.cetc55.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.junit.After; import org.junit.Before; import org.junit.Test; import java.io.IOException; import java.net.URI; import java.net.URISyntaxExcepti
java读取hdfs文件
wang5g的博客
05-07 1765
FileInputFormat.setInputPaths(job, new Path("hdfs://single:9000/test/student_ext/student.txt")); FileOutputFormat.setOutputPath(job, new Path("hdfs://single:9000/test/student_ext/test"));
使用Java Api操作HDFS过程详解
08-25
主要介绍了使用Java Api操作HDFS过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
使用Java API操作HDFS分布式文件系统
最新发布
04-11
分布式文件系统hdfs 使用Java API操作HDFS分布式文件系统
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
大数据技术基础实验报告-调用Java API实现HDFS操作
HDFS中JAVA API的使用
08-30
HDFS是一个分布式文件系统，既然是文件系统，就可以对其文件进行操作，比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程
java API 操作HDFS
05-08
javaAPI操作HDFS，测试可用 window环境需要下载hadoop客户端
HDFS的读取数据过程详解 + Java代码实现
01-20
HDFS的读取数据过程细节上比较复杂，我们先来看一看具体代码是怎样实现读取数据过程的，然后再根据代码进行分析： import java.io.BufferedReader; import java.io.InputStreamReader; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class
java 从 HDFS 读取数据到本地文件
Java_ttcd的博客
08-09 349
算法模型是 java 代码使用 spark-submit yarn cluster 运行的，输出结果存储在了 HDFS 上，可能因为数据结构比较复杂吧，所以没有选择将结果存储在 hive 表中。Configuration 类中保存了大数据集群的配置，所以需要将 core-site.xml 和 hdfs-site.xml 提前存放到 classpath 目录下，等程序启动时 xml 文件中的信息会被自动读取到配置类中。给定的存储文件会被创建成目录，数据被分散存储在该目录下的若干个 .json 文件中。...
通过Java代码对HDFS进行读取操作
bujiujie8的博客
01-20 4965
这里主要是利用Hadoop提供的API来操作,在本地编写代码,操作集群上的HDFS. 本篇介绍的是若干从HDFS读取文件的操作. 工具:IntelliJ IDEA Community Edition 2018.1.3   1.使用java.net.URL 使用此方法的话,需要进行一些其他操作.此处读取的是hdfs-site.xml这个配置文件,取出前100字节并输出. import ...
HDFS每日一练1 API读取文件
Auraros的博客
10-24 4405
HDFS每日一练1 API读取文件 更多整理都在我的github上：Auraros欢迎大家。 题目 在右侧代码编辑区中编写代码实现如下功能： 使用FSDataInputStream获取HDFS的/user/hadoop/目录下的task.txt的文件内容，并输出，其中uri为hdfs://localhost:9000/user/hadoop/task.txt。 测试说明： 点击评测，平台会通过脚本创建/user/hadoop/task.txt文件并添加相应内容，无需你自己创建，开启hadoop，编写代
(6)Java 读写 hdfs文件或者目录
sun
02-09 4166
1.读取单个文件 Date date = DateUtil.getSpecifiedDayBefore(); String yesterday = DateUtil.dateToStr(date, "yyyy-MM-dd"); String path = "hdfs://ip:9000/output_log/output_log_click" + yesterday;
使用Java API操作HDFS（二）
weixin_64270471的博客
12-14 832
接上节创建hadoop.txt能否事先判断文件是否存在呢？我们去查看Hadoop FileSystem API文档查看方法编写create2()方法，事先判断文件是否存在运行程序故意让HDFS进入安全模式（只能读，不能写），看看会出现什么状况？删除已经创建的此时，再运行程序，查看结果，抛出异常下面，修改程序，来处理这个可能会抛出的安全模式异常运行程序，查看结果（虽然我们捕获了安全模式异常，但还是有一点系统抛出的异常信息）再运行程序，查看效果。
JAVA API实现HDFS操作（二）操作函数
what_how_why2020的博客
11-15 1757
说明：在IDEA集成环境中利用JAVA API实现目录的创建、文件的创建、文件的上传和下载、文件的查看、文件删除、文件的编辑等操作
hdfs java读取文件_转载--java 读取本地和hdfs文件夹
weixin_39976748的博客
02-15 200
package my.test;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.ha...
JAVA实现HDFS文件的读写
atmospheric的博客
04-23 7787
JAVA实现HDFS文件的读写
hadoop使用java api操作hdfs
03-27
以下是使用Java API操作HDFS的步骤： 1. 导入Hadoop依赖项 ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; ``` 2. 配置...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值