通俗易懂hadoop fs、hadoop dfs、hdfs fs、hdfs dfs区别

最新推荐文章于 2024-08-07 19:07:07 发布
最新推荐文章于 2024-08-07 19:07:07 发布
阅读量6.2k 收藏 20
点赞数 11
分类专栏： hadoop 文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43631296/article/details/119606552
版权
本文主要探讨了Hadoop中fs与dfs的区别，fs作为通用文件系统接口可指向任何文件系统，包括本地和HDFS，而dfs特指HDFS。在分布式环境下，两者基本等价，但在本地环境fs代表本地文件系统，dfs则无法使用。总结来说，fs与dfs的关系和应用场景是理解Hadoop文件操作的关键。
摘要由CSDN通过智能技术生成

对于hadoop小白看到这几个命令时真的晕头转向，仔细研究了一番决定自己写歌笔记记下来～～～如有不对的地方欢迎指教

fs与dfs有什么区别呢？
(1) fs是一个通用的文件系统可以指向任何的文件系统如local，HDFS等，而dfs是分布式文件系统，是针对hdfs的。
(2) fs > dfs。
(3) 分布式环境情况下，fs与dfs无区别。
(4) 本地环境中，fs就是本地文件，dfs就不能用了。

总结起来，这四个命令的区别与联系如下：
在这里插入图片描述

续写童话
关注
专栏目录
Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
シ風
07-27 1413
Hadoop fs：使用面最广，可以操作任何文件系统。 hadoop dfs 与 hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。 hadoop fs hadoop fs -ls 显示当前目录结构，-ls -R 递归显示目录结构 hadoop fs -mkdir 创建目录 hadoop fs -rm 删除文件，-rm -R 递归删除目录和文件 hadoop fs -put [localsrc] [dst] 从本地加载文
分布式文件系统HDFS
fakerlove的博客
12-12 1224
分布式文件系统HDFS（按块存储，默认一个block块128M） 一、分布式文件系统HDFS 1、产生背景 传统的本地文件系统（单机式），在数据量过快、数据备份、数据安全性、操作使用便捷性上存在严重不足。 2、特点介绍 2.1 高容错和高可用性，硬件错误是常态而不是异常 HDFS设计为运行在普通硬件上，所以硬件故障是很正常的。HDFS提供文本存储副本策略，可以实现错误自检并快速自动回复。个别硬件的...
Hadoop FS 文件系统命令
最新发布
wwtg9988的博客
08-07 1587
Hadoop 文件系统命令可以用来直接和 Hadoop 的文件系统交互，支持包括 HDFS、本地文件系统、WebHDFS、S3 等文件系统。下面我们介绍下常用的文件命令。
hadoop fs、hadoop dfs与hdfs dfs的区别
weixin_34192993的博客
10-30 420
hadoop fs： 使用面最广，可以操作任何文件系统。 hadoop dfs与hdfs dfs： 只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。 以下内容参考自stackoverflow： 　　Following are the three commands whi...
hadoop fs、hadoop dfs与hdfs dfs命令的区别及hadoop fs命令说明
Shyllin的博客
03-19 1万+
hadoop fs、hadoop dfs与hdfs dfs命令的区别及hadoop fs命令说明
hadoop dfs、hadoop fs和hdfs dfs的区别
初阳
04-14 3982
执行 hdfs 命令后可以看到如下帮助信息： Usage: hdfs [--config confdir] [--loglevel loglevel] COMMAND where COMMAND is one of: dfs run a filesystem command on the file systems supported in Hadoop. classpath prints the classpath nam
hadoop fs,hadoop dfs以及hdfs dfs区别
JustForFun的博客
11-09 2万+
该文由本人于网上查阅资料所得，如有错误希望帮忙评论指正谢谢。 hadoop fs: FS relates to a generic file system which can point to any file systems like local, HDFS etc. So this can be used when you are dealing with different file sys
Hadoop fs 和Hadoop dfs 的区别
SunWuKong_Hadoop的博客
12-15 7633
(1)fs是文件系统， dfs是分布式文件系统(2)fs > dfs(3)分布式环境情况下，fs与dfs无区别                          (4)本地环境中，fs就是本地文件，dfs就不能用了   and FS涉及到一个通用的文件系统，可以指向任何的文件系统如local，HDFS等。但是DFS仅是针对HDFS的。 那么什么时候用FS呢？可以在本地与hadoo...
Hadoop Shell命令
Rnan_prince的博客
11-02 882
FS Shell 调用文件系统(FS)Shell命令应使用bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://nameno.
hadoop fs ，hadoop dfs 和 hdfs dfs的区别以及HDFS的shell操作
林中有神君
02-11 1838
hadoop fs ，hadoop dfs 和 hdfs dfs的区别 1、hadoop fs： 该命令可以作用于hadoop的所有子系统 2、hadoop dfs： 专门针对HDFS分布式文件系统 3、hdfs dfs： 专门针对HDFS分布式文件系统，使用hadoop dfs时内部会被转为hdfs dfs命令 常用命令： 1、-help：输出这个命令参数 2、-ls: 显示目录信息 3、-mkdir：在HDFS上创建目录 4、-moveFromLocal：从本地剪切粘贴到HDFS 5、-appe
hadoop fs与hdfs dfs命令的区别
抱富的博客
02-02 2507
Hadoop fs：使用面最广，可以操作任何文件系统。 例：将数据传入HDFS datas目录下 ： hadoop fs -put /home/hadoop/datas/* /datas hadoop dfs与hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。 例：将本地数据加载到hive表中 hdfs dfs -...
hadoop fs、hadoop dfs和hdfs dfs的区别
a1786742005的博客
02-01 7035
1、fs、dfs区别？ (1) fs是文件系统， dfs是分布式文件系统。 (2) fs > dfs。 (3) 分布式环境情况下，fs与dfs无区别。 (4) 本地环境中，fs就是本地文件，dfs就不能用了。 (5) fs涉及到一个通用的文件系统，可以指向任何的文件系统如local，HDFS等。但是dfs仅是针对HDFS的。 2、为什么会对同一个功能提供两种命令标记? fs涉及到一个通用的文...
hadoop fs, hdfs dfs, hadoop dfs科普
架构之美
09-06 144
stackoverflow Following are the three commands which appears same but have minute differences hadoop fs {args} hadoop dfs {args} hdfs dfs {args} hadoop fs FS relates to a generic file sys...
hdfs dfs
Code_lr的专栏
12-22 1165
hdfs使用
hdfs常用操作
BXiron的博客
11-21 1596
查看文件常用命令 命令格式 1.hdfs dfs -ls path 查看文件列表 2.hdfs dfs -lsr path 递归查看文件列表 3.hdfs dfs -du path 查看path下的磁盘情况，单位字节 使用示例 1.hdfs dfs -ls / 查看当前目录 2.hdfs dfs - lsr / 递归查看当前目录 创建文件夹 命令格式 hdfs dfs -mkdir pa
hadoop hdfs dfs基本操作
热门推荐
archer的技术故事
04-09 3万+
hadoop hdfs dfs基本操作 本文主要参考： http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html 根据上面官方文档的提示我们能够知道可以通过shell的方式访问hdfs中的数据，对数据进行操作。那么首先让我们看一下hdfs的版本，使用命令h
HDFS命令：hdfs dfs
Yummy的博客
07-24 3877
操作HDFS命令： hdfs dfs 0.帮助命令 hdfs dfs -help hdfs dfs -help put 1.建立一个账号目录 -mkdir -p hdfs dfs -mkdir -p /user/hadoop03 2.在当前账号下新建一个文件夹 hdfs dfs -mkdir input 3.上传本地文件到HDFS -put hdfs dfs -put 本地文件目录 HDFS的文件目录 hdfs dfs -put ~/*.txt input 4.查看HDFS文件中的文件和目...
hdfs dfs 操作命令
NoBug
09-09 1498
【代码】hdfs dfs 操作命令。
hadoop fs,hadoop dfs, hdfs dfs的区别？
03-30
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和处理。Hadoop提供了一个分布式文件系统HDFS（Hadoop Distributed File System），用于存储和管理大规模数据集。Hadoop FS、Hadoop DFS和HDFS DFS都是指Hadoop分布式文件系统的命令行工具，用于操作HDFS。 1. Hadoop FS：Hadoop FS是Hadoop分布式文件系统的命令行工具，用于操作HDFS。它提供了一系列命令，如上传文件、下载文件、创建目录、删除文件等。 2. Hadoop DFS：Hadoop DFS是Hadoop分布式文件系统的旧版命令行工具，用于操作HDFS。它与Hadoop FS功能相似，但已经被Hadoop FS取代。 3. HDFS DFS：HDFS DFS是Hadoop分布式文件系统的新版命令行工具，同样用于操作HDFS。它提供了更多的功能和选项，可以更方便地管理和操作HDFS。 总结来说，Hadoop FS、Hadoop DFS和HDFS DFS都是用于操作HDFS的命令行工具，其中Hadoop FS是对Hadoop DFS的改进和替代，而HDFS DFS是对Hadoop DFS的进一步增强和扩展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值