使用java API 在hdfs中创建一个空文本，并追加内容

最新推荐文章于 2020-12-01 00:40:40 发布
最新推荐文章于 2020-12-01 00:40:40 发布
阅读量1.9k 收藏 4
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43690219/article/details/103005165
版权

~~

使用java API 在hdfs中创建一个空文本，并追加内容

~~

创建一个空文本

无法在HDFS中直接的创建一个文本，需要在你本机的将要创建的文本新建出来，然后上传到hdfs中

追加内容

调用FileSystem 的API append 方法，参数是hdfs中的目录，实例化一个FSDataOutputStream对象，调用FSDataOutputStream的write方法，并将其中参数转换成Byte数组（.etBytes()） ,运行即可

具体上传文本步骤

在本地新建一个文本文件
在这里插入图片描述
记录新建文本的路径
在这里插入图片描述

实例化一个 Configuration和FileSystem

在这里插入图片描述
调用FileSystem 的copyFromLocalFile将文本上传到hdfs

最低0.47元/天 解锁文章
昉丶
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
hadoop java 文件追加_Hadoop的Java API (读写追加)
weixin_28304023的博客
02-13 1331
1、hadoop 写入的API直接上相关代码static {conf = new Configuration();conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());conf.set("fs.file.impl", org.apache.hadoop.fs.LocalFileS...
java 追加写入hdfs_java操作之HDFS-创建-删除目录-读写文件-追加写文件
weixin_35039926的博客
02-13 504
Hadoop文件操作之HDFS，创建。删除目录，读写文件，追加写文件package hadoop.hadoop_demo;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import org.apache.commons.io.IOUtils;import org.apache.hadoop.co...
使用Java调用HDFS的API进行文件基本操作
AlgoRain的博客
08-12 3360
使用Java调用HDFS的API进行文件基本操作 本样例主要是代码，其中包括了Java进行上传，下载，删除，创建文件夹，遍历文件夹等操作，代码环境基于MacOS，IDEA，使用Maven来配置依赖包，后面我会放出代码，和pom.xml。Hadoop是2.6 CDH版本。代码中的hmaster是我配置的虚拟机IP地址，需要修改为你的虚拟机IP地址。 HDFSUtil.java pack...
使用java的api操作hdfs在idea上
xiyuan_123的博客
08-15 853
使用java的api操作hdfs在idea上 代码规范auther data description注释要写 如何写hdfs的程序:1.hdfs在哪用户名 2.获取一个代表分布式文件系统的对象 3.对象方法4.关闭对象 1配置信息对象 conf=new configration();配置文件对象 conf.set("副本,“8”); 2获取hdfs的对象 参数一 urI hdfs://hadoop:8020 参数2 配置信息 参数3 用户名 new filesystem(不能new就是静态方法)Filesy
hdfs 文件的追加
wenwen360360的博客
12-26 2926
1、修改hdfs-site.xml           Java代码      lt;name>dfs.support.append   true   operty>   2、目前如何在命令行里面给HDFS文件中追加内容我还没找到相应的方法。但是，我们可以通过Hadoop提供的API实现文件内容追加，如何实现？这里我写了一个简单的测试程序：     
使用Java Api操作HDFS过程详解
08-25
本文将详细介绍使用 Java API 操作 HDFS 的过程，并提供了一个示例代码，展示如何使用 Java API 读取和写入 HDFS。 一、配置 Maven 环境 在使用 Java API 操作 HDFS 之前，需要配置好 Maven 环境。Maven 是一个...
HDFS中JAVA API的使用
08-30
HDFS中JAVA API的使用 HDFS（Hadoop Distributed File System）是一种分布式文件系统，允许用户对其文件进行操作，例如新建文件、删除文件、读取文件内容等操作。使用JAVA API对HDFS中的文件进行操作需要了解以下几...
使用Java API操作HDFS分布式文件系统
最新发布
04-11
在分布式计算领域，Hadoop Distributed File System（HDFS）是一个高度可扩展的、容错性强的文件系统，它被设计成在大规模硬件集群上运行，处理海量数据。HDFS是Apache Hadoop项目的核心组件之一，提供了可靠的数据...
java操作Hadoop源码之HDFS Java API操作-创建目录
01-17
然后，创建一个`Configuration`对象，用于读取HDFS的相关配置： ```java Configuration conf = new Configuration(); ``` 根据你的环境，你可能需要在这一步指定Hadoop配置文件的位置，例如： ```java conf.set(...
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
在实际编程中，我们通常会创建一个Java类，导入Hadoop的相关库，然后使用FileSystem类和Path类等来执行HDFS操作。例如，使用`FileSystem.get(conf)`获取FileSystem实例，其中conf是包含HDFS配置信息的Configuration...
向HDFS中指定的文件追加内容，由用户指定内容追加到原有文件的开头或结尾
qq_43300712的博客
05-21 4592
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.FileSystem; import java.io.*; public class AppendToFile { /** * 判断路径是否存在 */ public static boolean test(Configuration con...
hdfs读写流程_HDFS 读写流程（详解）
weixin_39603050的博客
12-01 182
概述HDFS(Hadoop Distributed File System)是GFS的开源实现。HDFS的优缺点1、优点因为有多个副本，可以保证数据可靠，容错性高计算向数据移动，适用于批处理适合大数据处理，GB、TB、PB级数据，百万以上的文件，十万以上的节点可以构建在廉价机器上，通过多副本提高可靠性2、缺点不支持低延迟的数据访问，无法再毫秒之内返回结果小文件对于HDFS是致命的，会占用大量的Na...
HDFS的常用API详解
Null的博客
03-30 8322
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; /** * hdfs入门程序: * 面向对象：一切皆对象 * 文件系统也可以看做是一类事物、FileSystem * * 一定有共同的行为和属性： ...
使用JavaAPI操作HDFS系统中的文件及文件夹
qq_32632603的博客
07-29 4553
1.基本操作 （1）安装eclipse，在终端中进入eclipse安装目录，执行./eclipse命令打开eclipse；或在桌面创建eclipse启动器打开eclipse； （2）建立一个新的项目：File-new-java project:example （3）为项目添加hadoop 相关jar包：            a.右击工程名--bulid path-configure bu
09. HDFS主要流程之客户端追加数据流程
ZJ__ZFH的博客
12-13 563
客户端除了可以执行写入新的HDFS文件操作外，还可以打开一个已有文件并执行追加写操作，下面是追加写的几个步骤 打开已有的HDFS文件 客户端首先调用DistributedFileSystem.append()方法打开一个已有的HDFS文件，append()方法会先调用ClientProtocol.append()方法获取文件最后一个数据块的位置信息，如果文件的最后一个数据块已经...
HDFS文件的创建以及向文件中写入内容
热门推荐
navy专栏
03-23 1万+
package com.yc.hadoop.hdfs;import java.net.URI;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSyste...
在hdfs的根目录下创建一个文件夹Test001
weixin_44704605的博客
10-30 6739
private static void CreateFile() throws URISyntaxException, IOException { FileSystem fs = FileSystem.get(new URI("hdfs://192.168.10.111:8020"), new Configuration()); boolean mkdirs = fs.mkdirs(new Path("/Test001")); if(mkdirs){ ..
【HDFS API编程】查看HDFS文件内容、创建文件并写入内容、更改文件名
baijiaozhan8157的博客
04-19 1492
【HDFS API编程】查看HDFS文件内容、创建文件并写入内容、更改文件名 首先，重点重复重复再重复： /*** 使用Java API操作HDFS文件系统* 关键点:* 1)创建 Configuration* 2)获取 FileSystem* 3).....
基于JAVA的HDFS文件操作（里面有java的HDFS文件操作的完整代码）
mango
05-05 4042
实验内容目录(1)向HDFS上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；(2)从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；(3)将HDFS中指定文件的内容输出到终端中；(4)显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；(5)给定HDFS中某一个目录，输出该目录下的所有文件的读...
使用 Java API 在 HDFS 上创建文件并写入内容
03-31
以下是使用 Java API 在 HDFS 上创建文件并写入内容的示例代码： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.BufferedWriter; import java.io.OutputStream; import java.io.OutputStreamWriter; public class HdfsWriter { public static void main(String[] args) throws Exception { String uri = "hdfs://localhost:9000"; Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path path = new Path("/example.txt"); OutputStream os = fs.create(path); BufferedWriter br = new BufferedWriter(new OutputStreamWriter(os, "UTF-8")); String content = "Hello, World!"; br.write(content); br.close(); fs.close(); } } ``` 在此示例代码中，我们使用 Hadoop 的 Configuration 类和 FileSystem 类来建立与 HDFS 的连接。我们创建了一个名为 /example.txt 的新文件，并使用 BufferedWriter 类将文本内容写入文件中。最后，我们关闭 BufferedWriter 和 FileSystem。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值