读写HDFS的三种方式

最新推荐文章于 2024-07-22 02:03:32 发布

楚兴

最新推荐文章于 2024-07-22 02:03:32 发布

阅读量3.2k

点赞数

分类专栏：大数据 Just Coding 文章标签： HDFS HttpFS

本文链接：https://blog.csdn.net/foreverling/article/details/80180768

版权

本文介绍了三种读写HDFS的方法：通过HttpFS进行远程操作，使用Hadoop Java API直接编程，以及利用FileOutputFormat进行数据输出。详细解析了各自的工作原理和应用场景。

摘要由CSDN通过智能技术生成

1 HttpFS

Authenticator.setDefault(new MyAuthenticator());
URL url = new URL("http://dev.test.com:14000/webhdfs/v1/tmp/test?op=OPEN");
InputStream ins = url.openConnection().getInputStream();
BufferedReader reader = new BufferedReader(new InputStreamReader(ins));
String str;
while((str = reader.readLine()) != null)
    System.out.println(str);

2 Hadoop Java API

public void readFile(String file) throws IOEx

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

楚兴

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

java spark读写hdfs_Spark学习笔记——读写HDFS

weixin_28952093的博客

02-24

1075

使用Spark读写HDFS中的parquet文件文件夹中的parquet文件build.sbt文件name := "spark-hbase"version := "1.0"scalaVersion := "2.11.8"libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "2.1.0","mysql" % "mysql-...

hdfs：HDFS的本机go客户端

02-03

Go的HDFS 这是hdfs的本地golang客户端。它使用协议缓冲区API直接连接到namenode。它尝试通过在可能的情况下对stdlib os包进行os.FileInfo来使其成为惯用语言，并从中实现接口，包括os.FileInfo和os.PathError 。这是实际的样子： client , _ := hdfs . New ( "namenode:8020" ) file , _ := client . Open ( "/mobydick.txt" ) buf := make ([] byte , 59 ) file . ReadAt ( buf , 48847 ) fmt . Println ( string ( buf )) // => Abominable are the tumblers into which he pours his poison. 有关完整的文档，请查阅。 hdfs二进制除库外，此存储库还包含HDFS的命令行客户端。像库一样，它的主要目的是通过启用您喜欢的unix动词来实现惯用语： $ hdfs --help Usage:

参与评论您还未登录，请先登录后发表或查看评论

Go语言按缓存读取下载HDFS大文件

qq_41593652的博客

04-07

1771

1. 功能分析 HDFS Golang接口：https://github.com/vladimirvivien/gowfs 接口中已有Get函数，用于下载HDFS文件，我们可以使用如下代码进行下载操作 fs, err := gowfs.NewFileSystem(gowfs.Configuration{Addr: "localhost:50070", User: "root"}) shell := gowfs.FsShell{FileSystem:fs} ok, err := shell.Get("

图解 HDFS 架构｜读写过程

最新发布

面向生活编程

07-22

550

每个文件的 block 大小（dfs.blocksize）和副本系数（dfs.replication）都是可配置的。ACK (Acknowledge character）即是确认字符，在数据通信中，接收方发给发送方的一种传输类控制字符。HDFS 中的文件在物理上是分块存储（block）的，块的大小可以通过配置参数来规定，参数位于 hdfs-default.xml 中：dfs.blocksize。在线性推送模式下，每台机器所有的出口宽带都用于以最快的速度传输数据，而不是在多个接受者之间分配宽带。

gowfs, 使用WebHDFS的Hadoop HDFS的go客户端绑定.zip

09-18

gowfs, 使用WebHDFS的Hadoop HDFS的go客户端绑定 gowfsgowfs是 Hadoop HDFS通过WebHDFS接口的绑定绑定。它提供对远程HDFS资源通过go封送处理系统的类型化访问。 gowfs遵循 http://hadoop.apache.org/docs/curre

HDFS客户端读流程

loser与你

10-03

974

HDFS客户端读流程 1.打开HDFS文件用户读取一个HDFS文件时，首先会调用open()方法打开这个文件，并获取文件对应的FSDataInputStream输入流，然后在这个FSDataInputStream对象上调用read()方法读取数据。 2.从Namenode获取Datanode地址在DFSInputStream构造方法中，首先会初始化DFSInputStream的属性，然后会调用openInfo()方法从Namenode获取文件对应的数据块位置信息，并将信息保存至其相应字段中。其首

HDFS读取和写入数据简介

01-07

HDFS 的文件访问机制为流式访问机制，即通过 API 打开文件的某个数据块之后，可以顺序读取或者写入某个文件。由于 HDFS 中存在多个角色，且对应的应用场景主要为一次写入、多次读取的场景，因此其读和写的方式有较大不同。读/写操作都由客户端发起，并且由客户端进行整个流程的控制，NameNode 和 DataNode 都是被动式响应。读取流程客户端发起读取请求时，首先与 NameNode 进行连接。连接建立完成后，客户端会请求读取某个文件的某一个数据块。NameNode 在内存中进行检索，查看是否有对应的文件及文件块，若没有则通知客户端对应文件或数据块不存在，若有则通知客户端对应的数据

Java读写hdfs中的文件

syz50113的博客

09-30

4798

前言 hdfs全称hadoop分布式文件系统，是Apach Hadoop的核心子项目。hdfs适合运行在通用硬件上，其在开源大数据技术体系中地位无可替代。这篇文章记录了用Java读写hdfs中文件的全过程。搭建hadoop集群第一步就是要搭建hadoop集群，让hadoop集群能够成功运行。笔者是在windows环境搭建了hadoop 2.7.7，具体步骤参见：Windows下配置Hadoop环境（全过程）这篇文章写得十分详细，对流程不再赘述，以下只列出几点原作者没有提到的问题： tmp文件夹可

java远程读写hdfs文件内容_java读写hdfs文件

weixin_39965673的博客

02-17

681

前言最近接触了分布式文件存储系统FastDFS，但FastDFS是底层是用C语言写的，因此安装的时候还需要make，这一点很是不爽。自己之前研究过Hadoop，其中的hdfs就是一个分布式文件系统，而且Hadoop是用java语言编写的，因此考虑能否用hdfs来代替FastDFS。经过反复实践，基本能够远程连接hdfs进行文件的操作了，直接上代码。本示例的前提是先启动hdfs文件系统，关于如何搭建...

HDFS文件系统基本文件命令、编程读写HDFS

04-12

HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大规模数据。它是 Hadoop 云计算平台的核心组件之一，提供了高效、可靠、可扩展的数据存储和管理解决方案。 HDFS 的优点包括： 1. 高...

HDFS中的文件open操作

xhh198781的专栏

10-31

3776

HDFS的文件open操作，实际上就是执行的是DistributedFileSystem的open(Path,int)函数，其中第一个函数就是文件的路径，第二个函数表示文件流的缓存大小，该函数返回的是DFSDataInputStream流。在这里，我不得不提的一点是，DFSDataInputStream是支持用户随机读的，之所以提及这一点，是因为我要在后面详细地介绍DFSDataInputStre

golang 简单文件读写操作

推土机

08-23

311

简单的文件读写操作 package main import ( _ "io/ioutil" "fmt" "os" "path/filepath" ) func main(){ //定义文件路径 path := "f.txt" pa

大数据学习篇：hadoop深入浅出系列之HDFS（五） ——httpFS访问

美丽的泡沫

09-26

2020

前面我们讲了HDFS的shell操作，今天讲的是HDFS的httpFS访问，由于还没有研究透彻，先立个文章放这，以后编辑文件httpfs-env.sh 执行sbin/httpfs.sh 执行命令curl -i "http://192.168.1.213:14000/webhdfs/v1?user.name=root&op=LISTSTATUS" 更多命令参考http://hado

HDFS高级--数据存储与管理

qq_46439199的博客

11-10

1587

HDFS高级--数据存储与管理

Golang连接Hadoop递归下载指定目录下的所有文件

u013071014的博客

02-09

436

Golang连接Hadoop递归下载指定目录下的所有文件

3.分布式文件系统HDFS之二

GoJawee的博客

08-17

284

———————————————-（二.1）冗余数据保存（二.2）数据存取策略：1.数据存放 2.数据读取（二.3）数据错误与恢复

HDFS的读写流程步骤（附图文解析）