从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名

最新推荐文章于 2024-04-13 23:06:12 发布

栗子ang

最新推荐文章于 2024-04-13 23:06:12 发布

阅读量3.6k

点赞数 3

文章标签： hadoop

本文链接：https://blog.csdn.net/qq_43300712/article/details/106260682

版权

该代码示例展示了如何使用Hadoop API从HDFS下载文件到本地。如果本地已有同名文件，程序会自动对下载的文件进行重命名，避免覆盖原有文件。通过配置HDFS地址并指定远程及本地文件路径，实现文件的智能下载。

摘要由CSDN通过智能技术生成

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.*;

import org.apache.hadoop.fs.FileSystem;

import java.io.*;

public class CopyToLocal {

/**

* 下载文件到本地判断本地路径是否已存在，若已存在，则自动进行重命名

public static void copyToLocal(Configuration conf, String remoteFilePath,

String localFilePath) {

Path remotePath = new Path(remoteFilePath);</

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

栗子ang

关注关注

3
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；

qq_48198925的博客

03-29

2097

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.FileSystem; import java.io.*; public class CopyToLocal { public static void copyToLocal(Configuration conf, String remoteFilePath,

常用的HDFS操作

weixin_43731641的博客

05-18

4162

常用的HDFS操作利用Hadoop提供的shell命令完成任务(1)向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有文件功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入利

参与评论您还未登录，请先登录后发表或查看评论

大数据入门系列 5：全网最全，Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作_hdfs目录操作

最新发布

2301_79099378的博客

04-13

1005

年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

熟悉常用的HDFS操作

real向往的博客

11-28

2423

实验平台 [hadoop@MASTER ~]$ cat /etc/redhat-release CentOS release 6.6 (Final) [hadoop@MASTER ~]$ hadoop version Hadoop 2.7.7 [hadoop@MASTER ~]$ java -version java version "1.8.0_151" 实验内容和要求编程实现以下...

大数据技术原理与应用实验二HDFS文件系统操作与编程基于java的HDFS文件操作

sanyiji的博客

04-04

1207

首先在eclipse中创建一个项目，创建项目后添加jar包，这里要注意了。如果你的hadoop是2.x的，添加以下jar包即可（1）”/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar；（2）/usr/local/hadoop/share/hadoop/common/lib”...

本地文件上传到HDFS

04-14

Hadoop HDFS的FileSystemAPI操作文件将准备好的文件上传到hdfs的user/hadoop/music文件下

HDFS之下载某个块的文件

Sun's Blog

07-08

504

假如我有一个文件在HDFS上分成了0~2，共三块，那么如何把它们下载到本地并且恢复成完整的文件呢？ public class TestCustomUploadAndDownload { private FileSystem fs; private FileSystem localFs; private Configuration conf = new Configuration(); @Before public void init() throws IOException,.

编程实现以下制定功能，并利用Hadoop提供的shell命令完成这些任务。 (1)向 HDFS 中上传任意文本文件，如果指定的文件在 HDFS 中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件。 (2)从 HDFS 中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名。 (3)将 HDFS 中指定文件的内容输出到终端。 (4)显示HDFS中指定的文件读写权限、大小、创建时间、路径等信息。 (5)给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息。 (6)提供一个 HDFS 中的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录。 (7)提供一个HDFS的目录的路径，对该目录进行创建和删除操作。创建目录时，如果文件所在目录不存在则自动创建相应目录；删除目录时，由用户指定当该目录不为空时是否还删除该目录。 (8)向HDFS中指定的文件追加内容,由用户指定将内容追加到原有文件的开头或结尾。 (9)删除 HDFS 中指定的文件。 (10)在HDFS中将文件从源路径移动到目的路径。

05-25

2. 从 HDFS 中下载指定文件下载文件到本地： ``` hadoop fs -get <HDFS文件> <本地目录> ``` 自动对下载的文件重命名： ``` hadoop fs -get <HDFS文件> <本地目录>/<新文件名> ``` 3. 将 HDFS 中指定文件的...

厦门大学-林子雨-大数据技术基础-第3章分布式文件系统HDFS-上机练习-熟悉常用的HDFS操作

11-20

熟悉常用的HDFS操作（1）理解HDFS在Hadoop体系结构中的角色；（2）熟练使用HDFS操作常用的Shell命令；（3）熟悉HDFS操作常用的Java API。

分布式文件系统：HDFS 核心原理

王义凯的博客

09-04

3200

HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据, 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统。作为大数据生态最重要的组件之一，HDFS充当着大数据时代的数据管理者的角色，为各个分布式计算组件提供了分布式存储的能力。

大数据入门系列 5：全网最全，Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作

白鹿第一帅的 CSDN 博客

12-22

9773

本篇文章是大数据基础系列的第五篇，完全针对 HDFS 文件系统，目的即理解 HDFS 在 Hadoop 体系结构中的角色，熟练使用 HDFS 操作常用的 Shell 命令，熟悉 HDFS 操作常用的 Java API。对大数据系列感兴趣的同学可以移步本人大数据专栏查看更多内容。

实验2熟悉常用的HDFS操作

m0_50744317的博客

04-02

4567

1.实验目的（1）理解HDFS在Hadoop体系结构中的角色；（2）熟练使用HDFS操作常用的Shell命令；（3）熟悉HDFS操作常用的Java API。 2. 实验平台（1）操作系统：Linux；（2）Hadoop版本：2.7.4 ；（3）JDK版本1.8；（4）Java IDE：eclipse 。 3. 实验步骤（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则.

基于JAVA的HDFS文件操作（里面有java的HDFS文件操作的完整代码）

mango

05-05

4115

实验内容目录(1)向HDFS上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；(2)从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；(3)将HDFS中指定文件的内容输出到终端中；(4)显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息；(5)给定HDFS中某一个目录，输出该目录下的所有文件的读...

熟悉常用的 HDFS 操作

热门推荐

拉格朗日的迷妹

04-14

1万+

1）向 HDFS 中上传任意文本文件，如果指定的文件在 HDFS 中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件；（覆盖）（追加）2）从 HDFS 中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名；（-test用于判断）3）将 HDFS 中指定文件的内容输出到终端中； 4）显示 HDFS 中指定的文件的读写权限、大小、创建时间、路径等信息...

大数据技术原理与应用（第三版）林子雨教材配套实验答案---实验二熟悉常用的hdfs操作

MarioPeng的博客

07-22

5936

大数据技术原理与应用（第三版）林子雨教材配套实验答案---实验二熟悉常用的hdfs操作。

Hadoop之HDFS常用操作基础练习（五）

初心的博客

11-10

7115

详细命令截图链接：http://note.youdao.com/noteshare?id=dc935930fbd57ba608665204cc15edaa 内容整理于笔记集群规划： ☛Hadoop的高可用完全分布模式中有HDFS的主节点和数据节点、MapReduce的主节点和任务节点、数据同步通信节点、主节点切换控制节点总共6类服务节点，其中 HDFS的主节点、MapReduce的主节点...

从hdfs下载文件，如果文件已经存在，自动对下载文件重命名

05-26

可以使用以下命令从 HDFS 下载文件，并自动对下载文件进行重命名： ``` hdfs dfs -get -p /path/to/source/file /path/to/destination/directory/file_name_`date +%Y%m%d%H%M%S` ``` 其中，`-p` 参数表示保留源文件的权限和时间戳信息，`/path/to/source/file` 是源文件在 HDFS 中的路径，`/path/to/destination/directory/file_name_` 是目标文件在本地文件系统中的路径和文件名前缀，`date +%Y%m%d%H%M%S` 是当前日期时间，用于给下载文件重命名。如果目标文件夹中已经存在同名文件，那么下载的文件将被重命名为 `file_name_20191219123456` 这样的形式，其中日期时间为当前的年月日时分秒。