Hadoop--hdfs/dfs常用命令的使用

最新推荐文章于 2024-08-13 17:25:44 发布
最新推荐文章于 2024-08-13 17:25:44 发布
阅读量401 收藏 2
点赞数
分类专栏： linux shell 文章标签： linux hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/newas3/article/details/112324295
版权
本文详细介绍了Hadoop HDFS中的常见命令，包括mkdir创建目录，ls查看内容，put和get进行文件上传下载，du显示大小，mv和cp移动复制文件，rm删除文件，cat和text查看内容，touchz创建空文件，stat查看文件信息，tail查看文件尾部，count统计文件数量，getmerge合并文件，grep过滤内容，以及chown修改权限。还提到了distcp用于集群间的拷贝操作。
摘要由CSDN通过智能技术生成

-mkdir　　创建目录

hdfs dfs -mkdir [-p] < paths>

-ls　　查看目录下内容，包括文件名，权限，所有者，大小和修改时间

hdfs dfs -ls [-R] < args>

-put　　将本地文件或目录上传到HDFS中的路径

hdfs dfs -put < localsrc> … < dst>

-get　　将文件或目录从HDFS中的路径拷贝到本地文件路径

hdfs dfs -get [-ignoreCrc] [-crc] < src> < localdst>

选项：-ignorecrc选项复制CRC校验失败的文件。-crc选项复制文件和CRC。

-du　　显示给定目录中包含的文件和目录的大小或文件的长度，用字节大小表示。

hdfs dfs -du [
最低0.47元/天 解锁文章
u:boom
关注
专栏目录
Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
シ風
07-27 1462
Hadoop fs：使用面最广，可以操作任何文件系统。 hadoop dfs 与 hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一般使用后者。 hadoop fs hadoop fs -ls 显示当前目录结构，-ls -R 递归显示目录结构 hadoop fs -mkdir 创建目录 hadoop fs -rm 删除文件，-rm -R 递归删除目录和文件 hadoop fs -put [localsrc] [dst] 从本地加载文
分布式文件系统HDFS
fakerlove的博客
12-12 1250
分布式文件系统HDFS（按块存储，默认一个block块128M） 一、分布式文件系统HDFS 1、产生背景 传统的本地文件系统（单机式），在数据量过快、数据备份、数据安全性、操作使用便捷性上存在严重不足。 2、特点介绍 2.1 高容错和高可用性，硬件错误是常态而不是异常 HDFS设计为运行在普通硬件上，所以硬件故障是很正常的。HDFS提供文本存储副本策略，可以实现错误自检并快速自动回复。个别硬件的...
linux常用命令
qq_31541339的博客
10-05 363
这里写自定义目录标题linux 常用命令关机目录结构基础指令进阶指令 linux 常用命令 关机 shutdown -h now（可以定时关机）; halt(关闭内存)； init 0（6里面能用，中间有空格） 目录结构 Bin：binary 二进制文件，文件都是可以运行的 Dev：该目录主要是存放的外接设备，例如盘、其他的光盘等。在其中的外接设备是不能直接被使用的，需要挂载（类似于windows下的分配盘符）。 ETC：存储一些配置文件 Home：除root用户外其他用户的目录，类似于windows下面的
HDFS常用命令
最新发布
weixin_46356409的博客
08-13 2075
显示 HDFS 文件系统的磁盘空间使用情况。：显示 HDFS 文件系统的磁盘空间使用情况。：统计目录中的文件数、目录数和空间使用情况。目录下的所有文件和子目录的磁盘使用情况。：测试文件、目录或符号链接的存在性和类型。：将 HDFS 文件复制到本地文件系统。：将 HDFS 文件移动到本地文件系统。目录中的文件数、目录数和空间使用情况。：删除 HDFS 上的文件或目录。：显示目录或文件的磁盘使用情况。：将本地文件上传到 HDFS。：显示 HDFS 文件的内容。：将本地文件移动到 HDFS。
HDFS命令：hdfs dfs
Yummy的博客
07-24 3899
操作HDFS命令： hdfs dfs 0.帮助命令 hdfs dfs -help hdfs dfs -help put 1.建立一个账号目录 -mkdir -p hdfs dfs -mkdir -p /user/hadoop03 2.在当前账号下新建一个文件夹 hdfs dfs -mkdir input 3.上传本地文件到HDFS -put hdfs dfs -put 本地文件目录 HDFS的文件目录 hdfs dfs -put ~/*.txt input 4.查看HDFS文件中的文件和目...
hdfs dfs
Code_lr的专栏
12-22 1182
hdfs使用
hdfs常用操作
BXiron的博客
11-21 1629
查看文件常用命令 命令格式 1.hdfs dfs -ls path 查看文件列表 2.hdfs dfs -lsr path 递归查看文件列表 3.hdfs dfs -du path 查看path下的磁盘情况，单位字节 使用示例 1.hdfs dfs -ls / 查看当前目录 2.hdfs dfs - lsr / 递归查看当前目录 创建文件夹 命令格式 hdfs dfs -mkdir pa
hadoop fs –ls /hbase 无内容_Hadoop学习---HDFS的常用shell命令详解
weixin_39636898的博客
11-20 600
注意:访问hdfs系统的指令hadoop dfs --- 已过时 hadoop fs -- 使用范围更大 hdfs dfs --范围相对较小 hadoop fs 和 hdfs dfs之间没有太大的区别 1. 在命令行中输入hdfs，回车后，就会提示hdfs后可以使用哪些命令，其中有一个是dfs。 2. 在命令行中输入hdfs dfs，回车后，就会提示dfs后可以添加的一些常用shell命令常用...
Hadoop报错：Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode
chenxie2031的博客
04-28 2186
一般namenode只格式化一次，重新格式化不仅会导致之前的数据都不可用，而且datanode也会无法启动。在datanode日志中会有类似如下的报错信息： java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-root/df...
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要）...
hadoop集群崩溃，因为tmp下/tmp/hadoop-hadoop/dfs/name文件误删除
longshenlmj的专栏
07-19 5773
hadoop执行start-all后，显示正常启动。 starting namenode, logging to /opt/hadoop-0.20.2-cdh3u0/logs/hadoop-hadoop-namenode-localhost.localdomain.out localhost: starting datanode, logging to /opt/hadoop-0.20.2-c
hadoop hdfs dfs基本操作
archer的技术故事
04-09 3万+
hadoop hdfs dfs基本操作 本文主要参考： http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/FileSystemShell.html 根据上面官方文档的提示我们能够知道可以通过shell的方式访问hdfs中的数据，对数据进行操作。那么首先让我们看一下hdfs的版本，使用命令h
Hadoop：hadoop fs、hadoop dfs与hdfs dfs命令的区别
皮皮blog
05-07 4万+
http://blog.csdn.net/pipisorry/article/details/51340838 'Hadoop DFS'和'Hadoop FS'的区别 While exploring HDFS, I came across these two syntaxes for querying HDFS: > hadoop dfs > hadoop fs why
Hadoop----hdfs dfs常用命令的使用
热门推荐
WQY992的博客
04-10 5万+
用法 ls Usage: hdfs dfs -ls [-R] < args>
HDFS dfs常用命令
weixin_58494422的博客
07-10 1437
HDFS dfs常用命令
【大数据】HDFS客户端命令行(hdfs dfs)详细使用说明
如切如磋，如琢如磨，臻于至善。
03-11 3188
Hadoop dfs 客户端命令ls/count/du/mv等使用详解
HDFS常用命令hdfs dfs
梦忆故城的博客
08-08 6583
1.hdfs dfs、hadoop fs、hadoop dfs三个命令的区别 在介绍命令之前，首先要知道hdfs dfs、hadoop fs、hadoop dfs三个命令的区别。 hadoop fs：通用的文件系统命令，针对任何系统，比如本地文件、HDFS文件、HFTP文件、S3文件系统等。 hadoop dfs：特定针对HDFS的文件系统的相关操作，但是...
HDFS中dfs 命令
雨ゆこ
07-18 9964
Usage: hadoop fs [generic options] [-appendToFile ... ] [-cat [-ignoreCrc] ...] [-checksum ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-c
hdfs命令大全
weixin_30887919的博客
09-28 1944
hdfs常用命令：第一部分：hdfs文件系统命令第一类：文件路径增删改查系列：hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件目录信息hdfs dfs -stat path 返回指定路径的信息第二类：空间大小查看系列命令：hdfs dfs -du -h ...
hadoop fs -mkdir -p /wordcount/input 和 hdfs dfs -mkdir -p /wordcount/input 是什么区别
07-10
`hadoop fs -mkdir -p /wordcount/input` 和 `hdfs dfs -mkdir -p /wordcount/input` 都是用于在 Hadoop 分布式文件系统（HDFS）中创建目录的命令，但稍有不同。 `hadoop fs -mkdir -p /wordcount/input` 是旧版本的 Hadoop 命令，用于创建 HDFS 目录。它在较新版本的 Hadoop 中仍然可用，但已被推荐使用 `hdfs dfs` 命令替代。 `hdfs dfs -mkdir -p /wordcount/input` 是新版本的 Hadoop 命令，用于创建 HDFS 目录。它是 Hadoop 2.x 版本以及更高版本中推荐使用的命令。 两个命令的功能是相同的，都会递归创建 `/wordcount/input` 目录（如果不存在的话）。其中 `-p` 参数表示递归创建目录，如果父目录不存在也会被创建。 总结起来，`hadoop fs -mkdir -p` 和 `hdfs dfs -mkdir -p` 的区别仅在于命令的语法和推荐使用版本的不同。在较新的 Hadoop 版本中，建议使用 `hdfs dfs` 命令。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值