hdfs 进入文件夹_HDFS常用文件操作命令及注意事项

最新推荐文章于 2024-08-08 16:36:06 发布

侯乔

最新推荐文章于 2024-08-08 16:36:06 发布

阅读量5.6k

点赞数

文章标签： hdfs 进入文件夹

本文链接：https://blog.csdn.net/weixin_36062602/article/details/113016957

版权

本文详细介绍了HDFS的常用命令，包括ls、put、get、rm、mkdir、cp、mv等，以及注意事项，如文件系统的路径格式和权限问题。这些命令与Unix/Linux命令相似，便于理解和使用。

摘要由CSDN通过智能技术生成

HDFS 文件系统提供了相当多的shell 操作命令，大大方便了程序员和系统管理人员查看、修改HDFS 上的文件。进一步，HDFS 的操作命令和Unix/Linux 的命令名称和格式相当一致，因而学习HDFS 命令的成本也大为缩小。

HDFS 的基本命令格式如下：

bin/Hadoop dfs–cmd

这里cmd 就是具体的命令，记住cmd 前面的短线“–”千万不要忽略。

1.ls

hadoop fs -ls /

hadoop fs -ls -R /

列出hdfs文件系统所有的目录和文件

2.put

hadoop fs -put < local file > < hdfs file >

hdfs file的父目录一定要存在，否则命令不会执行

hadoop fs -put < local file or dir >…< hdfs dir >

hdfs dir 一定要存在，否则命令不会执行

hadoop fs -put - < hdsf file>

从键盘读取输入到hdfs file中，按Ctrl+D结束输入，hdfs file不能存在，否则命令不会执行

2.1.moveFromLocal

hadoop fs -moveFromLocal <

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

侯乔

关注关注

0
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

HDFS理论（内含hdfs命令）

小财迷嘻嘻的博客

09-15

444

1、HDFS的应用场景适合的应用场景：存储非常大的文件，需要高吞吐量，对延时没有要求；采用流式的数据访问方式，一次写入多次读写需要高容错性为数据存储提供所需的扩展能力不适合的应用场景：低延时的数据访问，对延时要求在毫秒级别的应用，不适合采用HDFS 不适合存放大量小文件多方读写，不支持文件的任意修改 2、HDFS的架构 hdfs是一个主/从（mater/slave）体系架构 hdfs由四部分组成：HDFS Client、Namenode、DataNode和Secondary Nameno

hdfs 进入文件夹_HDFS常用命令

weixin_42511702的博客

03-04

5040

在 hdfs 文件系统上创建一个 input 文件夹bin/hdfs dfs -mkdir -p /user/anna/input将测试文件内容上传到文件系统上bin/hdfs dfs -put wc.input /user/anna/input查看上传的文件是否正确bin/hdfs dfs -cat /user/anna/input/wc.input运行 mapreduce 程序bin/hado...

参与评论您还未登录，请先登录后发表或查看评论

HDFS常用操作命令（附详细演示截图）

最新发布

weixin_43322583的博客

08-08

574

hdfs操作，基础操作，附带配详演示截图。

hdfs 进入文件夹_HDFS(二)

weixin_39759060的博客

12-21

644

本文继续介绍HDFS的命令行使用、基准测试、读取与写入过程以及元数据辅助管理。HDFS的命令行使用基本命令基本命令和Linux下的命令使用方式基本相同。ls格式：hdfs dfs -ls URI作用：类似于Linux的ls命令，显示文件列表hdfs dfs -ls /浏览器输入主机号：50070，查看文件系统mkdir格式：hdfs dfs -mkdir -p /path作用：以中的U...

hdfs注意事项

狂躁的辣条的博客

07-15

339

hdfs的注意一、hdfs存储的大小是严格按照字节来进行存储的分块也是严格按照字节进行切分二、一个文件所有块的大小都是一样大小的除了最后一块三、已上传的文件可以更改副本数量，但是不能更改块的大小四、hdfs支持一次写入多次读取，可以追加文件，但是不可以修改文件，任何基于hdfs存储的开源软件说可以修改文件都是删除掉重新写入！如有错欢迎提出修改及补充 ...

linux进入hdfs目录,fuse挂载hdfs目录到linux本地

weixin_36085895的博客

04-30

1069

1,安装fuseyum -y install hadoop-hdfs-fuse2.修改环境变量vi /etc/profile增加如下配置：JAVA_HOME=/usr/jdk64/jdk1.8.0_60HADOOP_HOME=/usr/hdp/2.4.0.0-169/hadoopexport PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATHexport LD_...

9_尚硅谷大数据之HDFS客户端操作1

08-03

#### 四、HDFS文件夹删除除了文件操作外，还可以通过HDFS客户端API实现文件夹的删除。 1. **获取文件系统**： - 同文件上传部分。 2. **删除文件夹**： - 使用`delete()`方法删除指定的文件夹，例如`fs.delete...

Hadoop实验2：HDFS操作

qq_60980343的博客

12-21

2291

目录一、查看目录二、创建目录三、删除目录四、文件上传五、文件下载六、查看文件内容七、查看文件大小八、复制文件九、重命名/移动文件十、文件权限修改十一、删除文件一、查看目录命令使用格式：hadoop fs -ls 目录名执行效果：二、创建目录使用格式：hadoop fs -mkdir 目录名执行效果： 注意事项：如果需要创建多层目录，可以使用参数“-p”。例如创建目录/test/test1/test2/test3，...

flume写入hdfs参数详解以及很多小文件问题

bigdata_player

06-26

2587

Flume中的HDFS Sink应该是非常常用的，其中的配置参数也比较多，在这里记录备忘一下。一、参数配置详解 type hdfs path 写入hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume/webdata/ 可以使用flume提供的日期及%{host}表达式。...

利用javaAPI访问HDFS的文件

03-09

在Java程序中操作HDFS文件主要依赖于`org.apache.hadoop.fs.FileSystem`类，该类提供了许多方法用于执行文件系统操作，如创建文件、删除文件、读写文件等。 ##### 1. 创建文件系统实例 ```java Configuration conf ...

hadoop基础：通过 Shell 命令访问 HDFS

m0_58198500的博客

10-24

4366

HDFS Shell 是由一系列类似 Linux Shell 的命令组成的。命令大致可分为操作命令、管理命令、其他命令三类。

hdfs回收站的配置使用与注意事项

hncscwc的博客

10-15

1564

【概述】在hdfs使用过程中，通过"rm"命令可以进行文件的删除，然后有时候，难免会出现误删了某个文件。那么hdfs是否存在回收站的功能，文件删除而不是真的删除，而是先进入垃圾回收站，这样可以对误删的文件有机会进行还原。本文就来聊聊hdfs中的回收站功能原理【配置使用】hdfs的回收站功能默认是不开启的，如需使用，只需在namenode的配置文件`core-site.xml`中增加如下配置项即可：...

HDFS各个进程存储在磁盘上的数据含义和注意事项

萌兔兔MMQ！！

06-10

531

(一)Namenode的目录结构 HDFS进行初次格式化之后将会在$dfs.namenode.name.dir/current目录下生成一系列文件：复制代码 ${dfs.namenode.name.dir}/ current VERSION edits_0000000000000000001-0000000000000000007 edits_0000000000000000008-0000000000000000015 edits_0000000000000000016-0000000000000000

hadoop HDFS的文件夹创建、文件上传、文件下载、文件夹删除，文件更名、文件详细信息、文件类型判断（文件夹或者文件）

qq_43224174的博客

12-08

4787

本篇文章主要介绍的是hadoop hdfs的基础api的使用。包括Windows端依赖配置，Maven依赖配置。最后就是进行实际的操作，包括：获取远程hadoop hdfs连接，并对其进行的一系列操作，包括；文件夹创建、文件上传、文件下载、文件（夹）删除、文件更名或移动、文件详细信息的获取并打印到控制台，以及文件类型的判断（文件夹或文件）并打印对应文件（夹）的详细信息。

HDFS文件管理

weixin_51551506的博客

11-02

523

运行后显示如下，表明NameNode、DataNode、Secondary NameNode已经成功启动。运行后显示如下，第一个数字表示HDFS单副本的大小，第二个表示该文件所有副本的大小。运行后，已经本地的test.txt文件上传到HDFS的根目录下。运行后显示如下，此时test.txt文件已经在HDFS的目录下。运行后显示如下，表明HDFS文件已经剪切到/dir目录下。运行后，此时在HDFS根目录下创建了dir文件夹。运行后显示如下，表明HDFS文件复制成功。运行后显示如下，表明文件已经成功被删除。

查看hdfs目录的方法

ningyanggege的博客

01-24

1万+

如图所示:

本机查看hdfs目录