hadoop学习 7 HDFS shell指令大全 1

最新推荐文章于 2024-07-09 17:58:15 发布
最新推荐文章于 2024-07-09 17:58:15 发布
阅读量90 收藏 2
点赞数
分类专栏： 收费 文章标签： linux hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41173093/article/details/117929889
版权
本文详细介绍了Hadoop HDFS的shell命令，包括创建目录、上传下载文件、查看文件内容、删除文件及目录、查看磁盘使用情况等操作。提供了具体的命令格式和使用示例，方便用户进行HDFS管理。
摘要由CSDN通过智能技术生成

注意：hdfs的命令行中，路径必须从根目录/开始写，即绝对路径。

索引（便于复习）：

hdfs dfs -mkdir [-p] /目录
hdfs dfs -put
hdfs dfs -copyFromLocal <local_src> <hdfs_dst>
hdfs dfs -moveFromLocal <local_src> <hdfs_dst>
hdfs dfs -copyToLocal <hdfs_src> <local_dest>
hdfs dfs -get <hdfs_src> <local_dest>
hdfs dfs -ls
hdfs dfs -cat
hdfs dfs -tail [-f]
hdfs dfs -rm [-rf] <file/dir>
hdfs dfs -rmdir
hdfs dfs -df
hdfs dfs -du [-h]
hdfs dfs -appendToFile <local_file> <hdfs_file>
hdfs dfs -chgrp [-R] 组名 文件/目录
hdfs dfs -chmod [-R] 权限 文件/目录
hdfs dfs -chown [-R] 用户名 文件/目录

在hadoop的命令行中，总结出规律：
1） 指令开头为 hadoop fs或hdfs dfs
2） 之后加-
3） -后面写指令（与本地linux系统指令一致）
4） 指令的选项用法不变

创建文件夹&#x

最低0.47元/天 解锁文章
Cupcake_JackY
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop之HDFS的shell操作
01-07
Hadoop之HDFS概述 ：https://blog.csdn.net/weixin_45102492/article/details/104369155 HDFS的java客户端操作：https://blog.csdn.net/weixin_45102492/article/details/104378020 Hadoop之HDFS的数据流：...
hadoop CentOs 7伪分布式搭建
ZDFXN的博客
04-22 129
更改系统主机名 命令 功能 vi /etc/hostname 打开更改系统主机名文件 i健 进入编辑状态 # 注释一行 esc 退出编辑状态 :wq 保存退出 reboot 重启客户端 操作步骤 点击i健进入编辑状态 删掉这一行，录入自己更改的主机名：如zhangdaifeng 点击esc退出编辑状态 录入:wq保存退出 录入reboot 配置网卡 ...
【大数据·hadoop】在hdfs上运行shell基本常用命令
Yaoyao2024的博客
05-11 1619
在Hadoop生态系统中，supergroup 是一个默认的用户组，通常与HDFS的超级用户（即 Hadoop 的管理员账户，类似于 Unix 系统中的 root 用户）关联。超级用户和属于 supergroup 组的用户通常有着对HDFS上所有文件和目录的全权限，这包括读取、写入和执行权限。
hadoop的HDFS的shell命令大全（一篇文章就够了）
热门推荐
m0_43405302的博客
12-30 2万+
HDFS的shell命令 1、安全模式 安全模式：集群启动时，DN所有的DN都必须向MM汇报磁盘使用状态和block存储信息。在此之前出于对hdfs的保护，会禁止访问hdfs，此状态为安全模式 1.查看安全模式状态 #查看安全模式状态 hdfs dfsasmin --safemode get #-状态- on|off #----- 2.手工开启安全模式状态 #手工进入安全模式 hdfs dfsasmin --safemode enter 3.手工关闭安全模式状态 #手工退出安全模式 hdfs dfsas
Hadoop环境搭建和HDFS Shell命令
09-17
Hadoop环境搭建和HDFS Shell命令 ppt格式 内容丰富生动
Hadoop 分布式文件系统 shell命令1
08-03
1. HDFS 的 shell 命令只能在 Hadoop 集群中使用。 2. 使用 HDFS 的 shell 命令需要具有相应的权限。 3. HDFS 的 shell 命令可能需要使用绝对路径来指定文件或目录。 HDFS 的 shell 命令提供了一种方便的方式来管理...
第二章 HDFS的Shell操作.pptx
08-10
HDFS的Shell操作，bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类等等。
HDFS常用Shell命令
01-07
本篇文章只是简单阐述一下HDFS中常用命令, 在实际开发中可使用 bin/hadoop fs查看命令详情 使用HDFS基本语法: bin/hadoop fs OR bin/hdfs dfs 注:为帮助快速理解并使用本文中使用T表示target 基本命令 1.启动...
【linux/shell】linux如何去除字符串中空格
qq_35902025的博客
07-06 335
linux如何去除字符串中空格 tr命令可以用来替换或删除字符 sed是一个流编辑器，可以用来处理文本
nginx安装（win和linux）
f552126506的博客
07-07 544
nginx安装（win和linux）
RedHat运维-LinuxSELinux基础4-端口绑定SELinux上下文
a15735748145a的博客
07-06 613
12. 将60001/tcp端口上的SELinux上下文由http_port_t调整为gopher_port_t的方法是______________________；13. 将60002/tcp端口上的SELinux上下文由gopher_port_t调整为ssh_port_t的方法是______________________；14. 将60003/tcp端口上的SELinux上下文由ssh_port_t调整为http_port_t的方法是_______________________；
【Linux】：程序替换
Yikefore的博客
07-09 547
程序替换的详细介绍以及各种程序替换接口介绍以及使用！
Linux x86_64平台指令替换函数 text_poke_smp/bp
小立仔
07-05 755
Linux x86_64平台指令替换函数 text_poke_smp/bp简介
Linux workqueue介绍
l00102795的博客
07-08 703
不是所有的驱动程序都必须有自己的工作队列。驱动程序可以使用内核提供的缺省工作队列。由于这个工作队列由很多驱动程序共享，任务可能会需要比较长一段时间才能开始执行。为了解决这一问题，工作函数中的延迟应该保持最小或者不要延时。
linux积累-core文件是干啥的
最新发布
hebtu666
07-09 354
核心转储（core dump）文件是一个程序崩溃时所产生的文件，它记录了程序崩溃时的内存状态，包括程序计数器和寄存器内容等信息。此外，如果程序是在特定的库或者环境中运行时崩溃的，你可能还需要安装那些库的调试符号，并在调试器中设置相应的环境变量。： 当你有了核心转储文件后，你可以使用像GDB（GNU调试器）这样的调试器来分析它。首先，你需要确保你有相应的程序的带调试符号的可执行文件。： 根据调试器提供的信息，你可以检查源代码中可能导致问题的部分，例如无效的指针引用、数组越界或其他违反程序逻辑的操作。
Linux--V4L2摄像头驱动框架及UVC浅析
qq_47258284的博客
07-04 959
对于一个usb摄像头，它的内核驱动源码位于/drivers/media/usb/uvc/核心层：V4L2_dev.c文件硬件相关层： uvc_driver.c文件本篇记录基于对6.8.8.8内核下vivid-core.c文件（虚拟视频驱动程序）的分析，梳理Linux系统中vedio视频设备的驱动框架。
Linux 常用指令详解
TheJustice_的博客
07-03 560
Linux 是一个强大而灵活的操作系统，掌握常用的 Linux 指令是使用和管理 Linux 系统的基础。本文将介绍一些常用的 Linux 指令，并附上 Vim 和 g++ 的常用指令说明，帮助你更好地进行开发和操作。
Linux/Ubuntu访问局域网共享文件夹
小叮当ing
07-04 242
文件夹中找到“Other Location”，输入“smb:IP地址/共享文件夹名称”，然后点击connect后者直接回车即可！
hdfs shell命令
09-22
### 回答1： HDFS Shell是Hadoop分布式文件系统（HDFS）的命令行接口。以下是一些HDFS Shell命令的例子： 1. 查看HDFS文件系统的根目录： ``` hadoop fs -ls / ``` 2. 在HDFS文件系统中创建一个目录： ``` hadoop fs -mkdir /mydirectory ``` 3. 将本地文件上传到HDFS文件系统中的目录中： ``` hadoop fs -put /local/path/to/file /hdfs/path/to/directory ``` 4. 从HDFS文件系统中下载文件到本地： ``` hadoop fs -get /hdfs/path/to/file /local/path/to/file ``` 5. 删除HDFS文件系统中的文件或目录： ``` hadoop fs -rm /hdfs/path/to/file hadoop fs -rm -r /hdfs/path/to/directory ``` 6. 在HDFS文件系统中复制文件或目录： ``` hadoop fs -cp /hdfs/path/to/source /hdfs/path/to/destination ``` 7. 查看HDFS文件系统中文件或目录的内容： ``` hadoop fs -cat /hdfs/path/to/file hadoop fs -tail /hdfs/path/to/file ``` 以上只是一些常用的HDFS Shell命令，还有许多其他命令可以使用。 ### 回答2： HDFS Shell命令是在Hadoop分布式文件系统（HDFS）中使用的命令行界面工具。它提供了一种方便直接访问和操作HDFS的方法，可以在终端或命令行中执行。 HDFS Shell命令通常以"hadoop fs"或"hdfs dfs"作为前缀，后跟具体的命令和参数。它们可以用于创建、复制、删除、移动和查看文件和目录等操作。 以下是一些常用的HDFS Shell命令及其功能： - "ls"：列出指定路径下的所有文件和目录。 - "mkdir"：创建一个新的目录。 - "copyFromLocal"：从本地文件系统复制文件到HDFS。 - "copyToLocal"：将HDFS上的文件复制到本地文件系统。 - "mv"：移动或重命名文件或目录。 - "rm"：删除指定的文件或目录。 - "cat"：显示文件的内容。 - "put"：将本地文件复制到指定路径下。 - "get"：将指定路径下的文件复制到本地文件系统。 - "chmod"：更改文件或目录的权限。 - "chown"：更改文件或目录的所有者。 - "chgrp"：更改文件或目录的组。 - "du"：显示指定路径下的文件和目录的大小。 HDFS Shell命令是Hadoop生态系统中重要的一部分，可以方便地进行文件系统的操作。它也可以与其他Hadoop工具和组件集成，如MapReduce、Hive和Spark等，来进行更复杂的数据处理和分析工作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值