HDFS文件在线编辑的实现思路

最新推荐文章于 2022-11-02 08:56:05 发布
最新推荐文章于 2022-11-02 08:56:05 发布
阅读量939 收藏 1
点赞数
分类专栏： HDFS 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wowSpark/article/details/105836726
版权

今天思考到一个问题，HDFS文件怎么实现的在线编辑？

hdfs 有个 -put 命令，允许携带一些参数完成特殊的需求：

  1. 上传文件
    hdfs dfs -put
  2. 在文件中追加
    hdfs dfs -appendToFile
  3. 强制更新
    hdfs dfs -put -f

首先上传了一个文件到HDFS上：hdfs dfs -put test1File /haddop/test1File

然后需要在这个文件中进行内容追加：hdfs dfs -appendToFile test2File /hadoop/test1File

最后需要重置hdfs上的文件内容：hdfs dfs -put -f test1File /hadoop/test1File

下面是测试的过程：

[hdfs@potter hdfs]$ cat test1File 
hello
[hdfs@potter hdfs]$ cat test2File 
Hey
[hdfs@potter hdfs]$ hdfs dfs -mkdir hdfs://cluster:8020/data/test11
[hdfs@potter hdfs]$ hdfs dfs -put test1File hdfs://cluster:8020/data/test11/
[hdfs@potter hdfs]$ hdfs dfs -cat hdfs://cluster:8020/data/test11/test1File
hello
[hdfs@potter hdfs]$ hdfs dfs -appendToFile test2File hdfs://cluster:8020/data/test11/test1File
[hdfs@potter hdfs]$ hdfs dfs -cat hdfs://cluster:8020/data/test11/test1File
hello
Hey
[hdfs@potter hdfs]$ hdfs dfs -put -f test1File hdfs://cluster:8020/data/test11/test1File
[hdfs@potter hdfs]$ hdfs dfs -cat hdfs://cluster:8020/data/test11/test1File
hello

最后，在线编辑文件的方式，可以通过覆盖命令实现：hdfs dfs -put -f <修改过的文件> <线上已经存在的文件>

kill -9
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
JAVA操作HDFS案例的简单实现
08-29
JAVA操作HDFS是指使用JAVA语言来操作HDFS文件系统，实现文件的上传、下载、删除、创建目录等基本操作。 2. HDFS的基本操作 HDFS提供了多种基本操作，包括文件上传、下载、删除、创建目录等。这些操作都是通过HDFS...
Spark编程指南
xiaopihaierletian的博客
07-04 420
备注：根据官网http://spark.apache.org/docs/latest/rdd-programming-guide.html进行对比更新 Spark编程指南 (写在前面，本文是翻译自2015年7月29日的http://spark.apache.org/docs/latest/programming-guide.html，由于水平所限，肯定存在很多翻译不到位地方。本文的翻译是为了加深自己作为初学者对Spark的理解，欢迎大家指出各种理解上的错误。) 一，概述 每个Spark应用都有一个.
hadoop 操作文件命令
追梦少年渐已老的博客
05-24 404
放文件到指定目录 hadoop fs -put test.jar /home 删除指定文件 hadoop fs -rm /home/test.jar
如何修改HDFS上的文件
RayPick的博客
10-15 3796
如果只想append操作： echo "<Text to append>" | hdfs dfs -appendToFile - yourHdfsPath/test.txt 如果想modify操作，修改文件内容： hdfs dfs -get yourHdfsPath/test.txt vi test.txt #or use any other tool and modify it hdfs dfs -put -f test.txt yourHdfsPath/test.txt ...
如何在浏览器上在线看hdfs的数据
baidu_21349635的专栏
11-02 3697
文章目录问题点击链接点击download出现问题解决办法效果 问题 如图在上面的浏览器上，显示hdfs的数据 我想查看text的 内容 点击链接 点击download 出现问题 会出现 解决办法 修改windows上本机host文件，写上ip和映射关系 即可 效果 完成 ...
hadoop的hdfs文件操作实现上传文件到hdfs
09-04
在代码的 `sendFile` 方法中，我们实现了将本地文件上传到 HDFS 的功能。首先，通过 `FileSystem.getLocal(conf)` 创建一个本地文件系统的实例，然后使用 `FileSystem.get(conf)` 获取 HDFS 文件系统的实例。接下来...
hdfs java代码实现文件基础操作
03-03
使用`FSDataInputStream`的`open()`方法打开HDFS文件，然后将其写入本地文件。 ```java public static void downloadFile(String hdfsFilePath, String localFilePath) throws Exception { FileSystem fs = ...
HDFS架构和实现机制简介
01-07
本节将对 HDFS 的整体架构和基本实现机制进行简单介绍。 HDFS 整体架构 HDFS 是一个主从 Master/Slave 架构。一个 HDFS 集群包含一个 NameNode，这是一个 Master Server，用来管理文件系统的命名空间，以及调节...
python解析hdfs文件和实现方式
11-24
本文将详细介绍如何使用Python解析HDFS文件，并将其内容生成为本地文件，以及相关的插件包安装步骤。 首先，我们需要安装Python的HDFS客户端库，最常用的是`pyarrow`和`hdfs3`。`pyarrow`是Apache Arrow项目的一...
HDFS文件操作命令与HDFS编程
04-10
文档详细的讲述了Hadoop中HDFS文件操作命令和HDFS编程
使用HDFS文件系统在线浏览视频音频
qingyufeng的博客
07-08 1871
使用HDFS文件系统在线浏览视频音频 JAVA API 读取hdfs系统文件 支持音频与视频 public void preview(String fpath, HttpServletRequest req, HttpServletResponse resp) throws IOException { if (fpath == null) return; String filename ...
HaDoop文件系统HDFS的浏览器查看
热门推荐
一叶_障目
11-22 5万+
简介：HaDoop安装之后，我们需要查看其虚拟的文件系统目录及内容，这时就需要用到浏览器，可以使用虚拟机的内置浏览器，即火狐浏览器，也可以使用本地机器的浏览器。
hadoop hdfs 应用API --HDFSUtil
Evennn的专栏
08-02 2937
hdfsAPI
hadoop HDFS常用文件操作命令
m0_67401055的博客
08-16 2146
示例中将hdfs中/user目录下的文件1.txt，2.txt压缩成一个名叫hadoop.har的文件存放在hdfs中/des目录下，如果1.txt，2.txt不写就是将/user目录下所有的目录和文件压缩成一个名叫hadoop.har的文件存放在hdfs中/des目录下。改变一个文件在hdfs中的副本个数，上述命令中数字3为所设置的副本个数，-R选项可以对一个人目录下的所有目录+文件递归执行改变副本个数的操作。目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件不存在。...
HDFS操作方法和基础编程
半濠春水的博客
05-05 9628
1.实验目的 （一）熟悉HDFS的基本shell命令 （二）熟悉HDFS的web管理 （三）掌握HDFS编程实践 2.实验内容 （一）参考课本4.1的内容，完成相关的HDFS的基本shell命令。 0.命令基础 ①执行命令启动Hadoop（版本是Hadoop3.1.3）。 ②Hadoop支持很多Shell命令，其中fs是HDFS最常用的命令，利用fs可以查看HDFS文件系统的目录结构、上传和下载数据、创建文件等。在终端输入如下命令可以查看fs全部支持的命令。 ③在终端输入如下命令，可以查看具体某个.
HDFS文件创建与写入
weixin_51551506的博客
11-02 1万+
此时，将本地的log文件内容，追加到了刚才创建的HDFS文件中，运行下面的命令，查看追加后的文件内容。运行后，已经将HDFS上的test.txt和hello.txt文件文件进行了合并，并且下载在本地。运行后显示如下，在/home/dolphin/Desktop/logs目录下有一个log文件。运行后显示如下，此时在HDFS的根目录下创建了log1和log2两个文件夹。运行后显示如下，可见此时根目录下已存在hello.txt文件。运行后显示如下，可见之前两个HDFS文件的内容都在这个文件中。
如何修改HDFS上文件
weixin_30487701的博客
03-22 3074
如果只想append操作： 1. echo "<Text to append>" | hdfs dfs -appendToFile - yourHdfsPath/test.txt 如果想modify操作： 1 hdfs dfs -get yourHdfsPath/test.txt 2 vi test.txt #or use any other tool and m...
HDFS文件操作(命令行)
haijiege的专栏
07-19 1万+
  haddop fs -ls / (查询目录) hadoop fs -mkdir /test （在根目录下创建一个目录test） hadoop fs -put ./test.txt /test （将本地的test.txt文件上传到HDFS根目录下的test文件夹中去） hadoop fs -copyFromLocal ./test.txt /test （同...
HDFS文件读写操作
雾幻的博客
03-27 1万+
HDFS读文件 客户端首先调用FileSystem对象的open方法打开文件，其实获取的是一个DistributedFileSystem的实例。 DistributedFileSystem通过调用RPC(远程过程调用)向namenode发起请求，获得文件的第一批block的位置信息。同一block按照备份数会返回多个DataNode的位置信息，并根据集群的网络拓扑结构排序，距离客户端近的排在前...
java下载hdfs文件_java实现下载hdfs文件及文件夹
最新发布
06-07
您好，要在Java中下载HDFS文件或文件夹，可以使用Hadoop API中的FileSystem类。 以下是下载HDFS文件的示例代码： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.io.OutputStream; import java.net.URI; import java.net.URISyntaxException; public class HDFSFileDownload { public static void main(String[] args) throws IOException, URISyntaxException { String hdfsUri = "hdfs://localhost:9000"; String filePath = "/user/hadoop/example.txt"; String localPath = "example.txt"; Configuration config = new Configuration(); // 设置HDFS的URI config.set("fs.defaultFS", hdfsUri); // 创建HDFS文件系统对象 FileSystem fs = FileSystem.get(new URI(hdfsUri), config); // 创建HDFS文件路径对象 Path hdfsPath = new Path(filePath); // 创建本地文件路径对象 Path localPathObj = new Path(localPath); // 打开HDFS文件输入流 OutputStream outputStream = fs.create(localPathObj); // 从HDFS文件中复制数据到本地文件 fs.copyToLocalFile(hdfsPath, localPathObj); // 关闭输出流和文件系统 outputStream.close(); fs.close(); } } ``` 要下载HDFS文件夹，可以使用递归函数来遍历文件夹中的所有文件并下载它们。以下是示例代码： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; public class HDFSFolderDownload { public static void main(String[] args) throws IOException, URISyntaxException { String hdfsUri = "hdfs://localhost:9000"; String folderPath = "/user/hadoop/example"; String localPath = "example"; Configuration config = new Configuration(); // 设置HDFS的URI config.set("fs.defaultFS", hdfsUri); // 创建HDFS文件系统对象 FileSystem fs = FileSystem.get(new URI(hdfsUri), config); // 创建HDFS文件夹路径对象 Path hdfsFolderPath = new Path(folderPath); // 创建本地文件夹路径对象 Path localFolderPath = new Path(localPath); // 如果本地文件夹不存在，则创建它 if (!localFolderPath.exists()) { localFolderPath.mkdir(); } // 遍历HDFS文件夹并下载所有文件 downloadFolder(fs, hdfsFolderPath, localFolderPath); // 关闭文件系统 fs.close(); } public static void downloadFolder(FileSystem fs, Path hdfsFolderPath, Path localFolderPath) throws IOException { // 获取HDFS文件系统中的所有文件和文件夹 Path[] pathList = fs.listPaths(hdfsFolderPath); // 遍历文件和文件夹 for (Path path : pathList) { if (fs.isDirectory(path)) { // 如果是文件夹，则递归下载它 Path localPath = new Path(localFolderPath, path.getName()); downloadFolder(fs, path, localPath); } else { // 如果是文件，则下载它 Path localPath = new Path(localFolderPath, path.getName()); fs.copyToLocalFile(path, localPath); } } } } ``` 希望这些代码能够帮助到您！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值