Hadoop之HDFS上测试创建目录、上传、下载文件,遍历目录

最新推荐文章于 2024-08-29 08:36:17 发布

JQ_AK47

最新推荐文章于 2024-08-29 08:36:17 发布

阅读量1.4w

点赞数 4

分类专栏： Hadoop

本文链接：https://blog.csdn.net/jq_ak47/article/details/82114114

版权

本文介绍了如何在Hadoop的HDFS上进行文件系统的操作，包括遍历根目录、上传文件到已存在目录、查看文件、下载文件到本地、删除文件和目录以及创建新目录。还提到了使用dfsadmin命令来管理HDFS，并提供了相关参考资源。

摘要由CSDN通过智能技术生成

遍历

循环遍历根目录，慎重

hdfs dfs -ls -R /

遍历根目录文件夹和文件

hdfs dfs -ls  /

上传文件到HDFS已经存在的目录下

上传文件到 / 跟目录下
hdfs dfs -put /home/vc/dev/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml  /

查看刚才上传文件

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

JQ_AK47

关注关注

4
点赞
踩
39

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

HDFS Java API实战：创建目录，上传，下载，删除代码

kerry_55的博客

06-27

909

HDFS Java API实战：创建目录，上传，下载，删除代码如下：package javaApi; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs....

java hadoop 创建目录结构_在hadoop文件系统中创建目录

weixin_39897127的博客

02-16

2308

我是hadoop的新手 . 我正在尝试在hdfs中创建一个目录，但我无法创建 .我已登录“hduser”因此我认为/ home / hduser“预先存在为Unix fs . 所以我尝试使用下面的命令创建hadoop目录 .[hduser@Virus ~]$ hadoop fs -mkdir /home/hduser/mydata/14/12/03 15:04:53 WARN util.Nativ...

参与评论您还未登录，请先登录后发表或查看评论

Hadoop之HDFS上测试创建目录、上传、下载文件(这些基本操作记录下来，总有忘的时候)

u011495642的博客

10-24

3445

1、HDFS上创建目录 ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1 1 2、上传本地文件到HDFS上 ${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1 3、上传本地文件到HDFS上 ${HADOOP_HOME}/bin/hd...

hadoop文件上传步骤

热门推荐

小小码农

01-27

4万+

1、HDFS上创建目录 ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1 2、上传本地文件到HDFS上 ${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1 3、上传本地文件到HDFS上 ${HADOOP_HOME}/bin/hdfs dfs

hadoop HDFS的文件夹创建、文件上传、文件下载、文件夹删除，文件更名、文件详细信息、文件类型判断（文件夹或者文件）

qq_43224174的博客

12-08

4801

本篇文章主要介绍的是hadoop hdfs的基础api的使用。包括Windows端依赖配置，Maven依赖配置。最后就是进行实际的操作，包括：获取远程hadoop hdfs连接，并对其进行的一系列操作，包括；文件夹创建、文件上传、文件下载、文件（夹）删除、文件更名或移动、文件详细信息的获取并打印到控制台，以及文件类型的判断（文件夹或文件）并打印对应文件（夹）的详细信息。

在hdfs的根目录下创建一个文件夹Test001

weixin_44704605的博客

10-30

6808

private static void CreateFile() throws URISyntaxException, IOException { FileSystem fs = FileSystem.get(new URI("hdfs://192.168.10.111:8020"), new Configuration()); boolean mkdirs = fs.mkdirs(new Path("/Test001")); if(mkdirs){ ..

3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件

05-29

为了高效地与HDFS交互，Java API 提供了一套丰富的工具和类库，使得开发者能够方便地进行文件的读写、上传、下载、遍历、查找、拷贝以及管理HDFS上的文件和目录。以下将详细讲解如何使用Java API 操作HDFS。 ### 一...

hadoop中hdfs文件(上传、下载、查看)操作.docx

07-10

本文件描述的是一个名为`HdfsService`的Java类，该类用于执行HDFS上的基本文件操作，如上传、下载、查看以及管理目录。下面将详细解释这些操作的实现及其相关的Hadoop API。首先，`HdfsService`类初始化了一个`...

JavaWeb操作hadoop2.6 HDFS,从页面上传，下载，列表展示的demo

12-01

4. **文件列表展示**：展示HDFS目录结构和文件列表，需要使用HDFS API遍历目录，获取文件和目录信息，如名称、大小、创建时间等。这些信息可以被转换为JSON格式，然后通过Ajax请求在前端页面上展示。 5. **...

使用javaAPI对HDFS进行文件上传，下载，新建文件及文件夹删除，遍历所有文件

weixin_72949830的博客

10-20

3075

使用javaAPI对HDFS进行文件上传，下载，新建文件及文件夹删除，遍历所有文件

大数据：Hadoop文件操作HDFS常用命令（一）

Zhang Phil

08-09

2万+

大数据：Hadoop文件操作HDFS常用命令（一） 1、创建目录。在HDFS中创建一个文件目录： hadoop dfs -mkdir 2、查看文件结构目录： hdfs dfs -ls -R / 例如，在HDFS中创建一个test_dir的文件目录，然后查看：如果查看具体某一个文件目录下的文件层次，则为： hadoop fs -ls /mydir myd...

Hadoop——创建文件夹

QQ331948781的专栏

04-05

1768

import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSmkdir { public static void mai

hdfs 遍历 / 文件夹

NewDay_的博客

09-28

1092

import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.LocatedFileStat

linux hadoop创建文件夹,熟悉常用的 Linux 操作和 Hadoop 操作

weixin_39838362的博客

05-02

7273

1)cd 命令：切换目录(1) 切换到目录/usr/local。 (2) 切换到当前目录的上一级目录 (3) 切换到当前登录 Linux 系统的用户自己的主文件夹 2)ls 命令：查看文件与目录查看目录/usr 下的所有文件和目录 3)mkdir 命令：新建目录(1) 进入/tmp 目录，创建一个名为 a 的目录，并查看/tmp 目录下已经存在哪些目录。 (2) 进入/tmp 目录，创建目录 a1...

Hadoop简单示例之创建文件夹

xiang37的专栏

07-25

1268

其中一段简单的编码；其中搭建Hadoop环境要比现在这段代码要复杂得多了。 /* * To change this template, choose Tools | Templates * and open the template in the editor. */ package com.xiva.baseKnowledge; import java...

Hadoop HDFS API创建文件夹

这个人很懒什么都没有留下

07-28

500

package com.atguigu.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; public class HdfsCli

建立 HDFS 各类目录权限及shell 脚本代码

10-19

1758

Athor: F # 1、创建默认组及权限： #!/bin/bash # ## 初始化默认权限 sudo -u hdfs hdfs dfs -chown -R root:root /hive sudo -u hdfs hdfs dfs -chmod -R 771 /hive sudo -u hdfs hdfs dfs -chown -R root:root /dw sudo

Java连接HDFS下载某个目录下的所有文件成文件流

06-09

你可以使用Java API中的FileSystem和Path类来连接HDFS并下载目录下的所有文件。以下是一个简单的示例代码： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.io.InputStream; public class HDFSDownload { public static void main(String[] args) throws Exception { String hdfsUri = "hdfs://localhost:9000"; String hdfsDir = "/data"; Configuration conf = new Configuration(); conf.set("fs.defaultFS", hdfsUri); FileSystem fs = FileSystem.get(conf); Path dirPath = new Path(hdfsDir); if (!fs.exists(dirPath)) { System.out.println("Directory does not exist!"); return; } for (Path filePath : fs.listStatus(dirPath)) { if (fs.isFile(filePath)) { InputStream inputStream = fs.open(filePath); // 处理文件流 inputStream.close(); } } fs.close(); } } ``` 在上面的代码中，我们首先设置了HDFS的URI和目录路径，然后创建了一个Hadoop配置对象和一个FileSystem对象来连接HDFS。接下来，我们遍历目录下的所有文件，如果是文件，则打开输入流并进行处理。最后，我们关闭输入流和FileSystem对象。