HDFS的Shell操作

最新推荐文章于 2024-05-10 10:18:12 发布
最新推荐文章于 2024-05-10 10:18:12 发布
阅读量2.7k 收藏 17
点赞数 1
文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HMLieder/article/details/127916756
版权

（一）HDFS命令操作实战

1、启动Hadoop集群

2、创建单层目录，执行命令：hdfs dfs -mkdir /ied

 

 使用Hadoop WebUI查看创建的单层目录

3、创建多层目录

执行命令：hdfs dfs -mkdir -p /luzhou/lzy

 

 使用Hadoop WebUI查看创建的多层目录

4、查看目录

执行命令：hdfs dfs -ls /，查看根目录 

执行命令：hdfs dfs -ls /luzhou 

如果我们要查看根目录里全部的资源，那么要用到地柜参数-R，执行命令：hdfs dfs -ls -R /，递归查看/目录 

5、下载HDFS文件到本地

 先删除本地的test.txt文件

执行命令：hdfs dfs -get /ied/test.txt

 查看文件是否下载成功

 可以将HDFS上的文件下载到本

最低0.47元/天 解锁文章
HMLieder
关注
  • 1
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop之HDFS的shell操作
01-07
Hadoop之HDFS概述 ：https://blog.csdn.net/weixin_45102492/article/details/104369155 HDFS的java客户端操作：https://blog.csdn.net/weixin_45102492/article/details/104378020 Hadoop之HDFS的数据流：https://blog.csdn.net/weixin_45102492/article/details/104384789 NameNode和SecondaryNameNode：https://blog.csdn.net/weixin_451024
实验二、HDFS shell操作及HDFS Java API编程
04-10
适合刚接触hadoop的学生或小白，内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
2024年最新大数据应用——HDFS常用命令_hdfs cat命令(1)，2024年最新百度、阿里、滴滴、新浪的面试心经总结
最新发布
2401_84185441的博客
05-10 375
【代码】2024年最新大数据应用——HDFS常用命令_hdfs cat命令(1)，2024年最新百度、阿里、滴滴、新浪的面试心经总结。
HDFS的shell命令行操作以及Java接口
生活不止眼前的枸杞， 还有蜂蜜和咖啡！
07-30 897
例如： $ hadoop fs -ls / -help |—— 功能：输出这个命令参数手册 -ls |—— 功能：显示目录信息 示例：hadoopfs−lshdfs://Master:9000/备注：这些参数中，所有的hdfs路径都可以简写,–>hadoopfs−lshdfs://Master:9000/备注：这些参...
HDFS的基本操作（创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件）
热门推荐
weixin_61472217的博客
09-13 2万+
主要涉及HDFS shell操作命令，包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。
HDFS常用的操作命令
m0_62373477的博客
09-17 7731
HDFS常用的操作命令
HDFS编程实践
m0_51371693的博客
03-26 4822
介绍HDFS编程实战
HDFS的基础练习--新建目录
qq_58476985的博客
09-13 8071
4.把mydata01上传到HDFS的/data01，把mydata02上传到HDFS的/data02，以此类推，把5份文件都上传到大数据平台的HDFS上。3.在/home/hadoop/software/自己名字命名目录下创建5分有数据的文件(mydata01-mydata05）文件内容自定义。hdfs dfs -get /dt01/data /root/zhang/ （注意中间有空格 ）如：hdfs dfs -mkdir -p /dt03/date05/date06/date07。
大数据学习-Hadoop
XiaoQi's Blog
08-17 3466
大数据学习-Hadoop
第二章 HDFS的Shell操作.pptx
08-10
HDFS的Shell操作，bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类等等。
Hadoop框架之HDFS的shell操作
05-20
Hadoop框架之HDFS的shell操作Hadoop框架之HDFS的shell操作Hadoop框架之HDFS的shell操作Hadoop框架之HDFS的shell操作
2、HDFS操作 - shell客户端
05-29
2、HDFS操作 - shell客户端 网址：https://blog.csdn.net/chenwewi520feng/article/details/130325405 本文介绍hdfs的shell操作，本文的前提是hdfs的功能正常运行。 本文分为2个部分介绍，即语法格式与具体示例。
【HDFS】HDFS 的常用命令
书山有路，学海无涯。记录成长，追逐梦想
09-20 7279
操作命令是以 hdfs dfs 开头的命令。通过这些命令，用户可以完成 HDFS 文件的复制、删除和查找等操作，Shell 命令的一般格式如下。
HDFS常用命令汇总
Button的博客
02-02 1万+
HDFS常用命令
HDFS在Linux中操作命令
白茶 清欢的博客
11-18 9468
HDFS简介 1，HDFS概念： 分布式文件系统 （1）文件系统： 存储文件，目录树定位文件 hdfs://master:9000/soft/hadoop-2.6.5-centos-6.8.tar.gz （2）分布式： 服务器集群，各个服务器都有各自清晰的角色定位 功能： 解决海量数据的存储问题 2，设计思路 （1）分而治之 大文件切分成小文件，多台服务器共同管理一个文件 小文件做备份，分散...
在HDFS上创建目录
m0_46144994的博客
01-10 1万+
一、PC环境 windows10 虚拟机环境：VMware Workstation Pro 虚拟机系统： 二、目标 在HDFS创建新的工作路径new，如图 三、实现语句 hadoop fs -mkdir -p /new
HDFS命令行示例
seabluely
11-14 571
HDFS常见操作命令行
HDFS SHELL 操作命令
qq_67829861的博客
05-12 283
（5），把Hadoop安装目录下share/doc/hadoop/images目录中的所有文件上传到picture目录中。（2)，读本地myfile文件的数据内容并追加到HDFS中的myinfo.txt文件中。（6），把picture目录中的所有.jpg图片移到子目录myphoto中保存。（4），把Hadoop安装目录中的README.txt文件上传到doc目录中。（8），删除picture目录中的所有后缀名为png的文件。（7），统计picture目录中的所有文件的总个数。
作业4-8-2：使用shell命令操作HDFS文件
Yummy的博客
04-08 1673
1、执行下列shell命令操作HDFS文件，并截图提交。 （1）执行HDFS帮助命令 （2）建立当前账户对应的目录 （3）在当前账号目录下新建一个以自己姓名拼音命名的文件夹。（例如：宋曼，建立文件夹名为“songman”） （4）在本地HOME下新建2个文件“s.txt”和“m.txt” （5）将本地文件“s.txt”和“m.txt”上传到HDFS中以自己姓名拼音命名的文件夹中 注意：以上步骤请全部截图上传。 正确答案： 我的答案： 2、执行下列shell命令操作HDFS文件，并截
hdfs shell操作
06-28
### 回答1： HDFS Shell是Hadoop分布式文件系统中的命令行工具，用于管理HDFS中的文件和目录。以下是HDFS Shell常用的一些操作： 1. 列出目录中的文件和子目录：`hdfs dfs -ls <目录路径>` 2. 创建目录：`hdfs dfs -mkdir <目录路径>` 3. 删除目录：`hdfs dfs -rm -r <目录路径>` 4. 上传本地文件到HDFS：`hdfs dfs -put <本地文件路径> <HDFS目录路径>` 5. 下载HDFS文件到本地：`hdfs dfs -get <HDFS文件路径> <本地目录路径>` 6. 合并HDFS文件到本地：`hdfs dfs -getmerge <HDFS目录路径> <本地文件路径>` 7. 复制文件：`hdfs dfs -cp <源文件路径> <目标文件路径>` 8. 移动文件：`hdfs dfs -mv <源文件路径> <目标文件路径>` 9. 查看文件内容：`hdfs dfs -cat <文件路径>` 10. 修改文件权限：`hdfs dfs -chmod <权限> <文件路径>` 以上是HDFS Shell的一些常用操作，可以帮助用户管理Hadoop分布式文件系统中的文件和目录。 ### 回答2： Hadoop分布式文件系统（Hadoop Distributed File System，简称HDFS）是Apache Hadoop的核心组件之一，用于存储和处理大规模数据集。HDFS Shell是Hadoop提供的基于命令行的操作工具，用于执行文件系统的管理操作。 HDFS Shell主要提供以下操作： 1. 文件和目录操作： - ls：列出指定目录下的内容。 - mkdir：创建一个新目录。 - rm：删除指定文件或目录。 - mv：将文件或目录移动到新位置。 - chmod：修改文件或目录的权限设置。 2. 文件上传和下载： - put：上传本地文件到HDFS。 - get：将HDFS上的文件下载到本地。 3. HDFS中的文件操作： - cat：打印文件内容。 - tail：打印文件的结尾部分。 - head：打印文件的开头部分。 - du：计算文件或目录的大小。 - count：统计指定目录下文件以及目录的个数。 - checksum：计算文件内容的检验和。 4. 其他操作： - help：列出所有可用命令。 - usage：显示指定命令的使用方法信息。 - exit：退出HDFS Shell。 使用HDFS Shell进行操作时，可以根据需要选择合适的命令来执行对应的操作。例如，使用ls命令可以列出指定目录下的文件和子目录，使用put命令可以上传本地文件到HDFS，使用cat命令可以打印指定文件的内容等。 HDFS Shell操作也可以通过Shell脚本来批量执行，可以更加方便地进行文件系统管理。总的来说，HDFS Shell是一种方便、高效的文件系统操作工具，对于Hadoop用户来说是必不可少的。 ### 回答3： HDFS（Hadoop 分布式文件系统）是一个由 Apache Hadoop 提供的分布式文件存储系统。HDFS Shell 是 HDFS 文件系统的命令行接口，可以通过命令行终端进行 HDFS 文件系统的操作，实现文件的上传、下载、创建等。 HDFS Shell 使用方式如下： 1. 进入 Hadoop 环境，输入命令`hdfs dfs`或`hadoop fs`后，就可以使用 HDFS Shell。 2. 命令格式： ``` hadoop fs [通用选项] [-D <属性>=<值>] <命令> [命令选项] ``` 表示 HDFS Shell 包含的通用选项、属性选项，以及命令和命令选项。 其中，通用选项包括 `-conf`、`-D`、`-fs`、`-jt` 等，这些选项在 Hadoop 的其他模块中也可以使用。 命令包括 `cat`、`cp`、`count`、`get`、`ls`、`mkdir`、`mv`、`put`、`rm`、`rmdir` 等。 命令选项包括 `-skipTrash`、`-skipChecksum`、`-overwrite`、`-recursive` 等。 3. HDFS Shell 常用命令： `ls`：显示 HDFS 目录下的文件和目录。 `mkdir`：在 HDFS 中创建一个新的目录。 `put`：将本地文件或目录上传到 HDFS 文件系统。 `get`：将 HDFS 文件系统中的文件或目录下载到本地。 `rm`：删除 HDFS 文件系统中的文件或目录。 `mv`：将 HDFS 文件系统中的文件或目录移动到另一个位置。 4. HDFS Shell 实例： `hdfs dfs -ls /`：列出 HDFS 根目录下的文件和目录。 `hdfs dfs -mkdir /test`：在 HDFS 中创建一个名为 test 的目录。 `hdfs dfs -put localfile /test`：将本地文件 localfile 上传到 HDFS 的目录 test 中。 `hdfs dfs -get /test/hadoopfile localfile`：将 HDFS 中 test 目录下的文件 hadoopfile 下载到本地的 localfile 中。 `hdfs dfs -rm /test/hadoopfile`：删除 HDFS 中 test 目录下的文件 hadoopfile。 `hdfs dfs -mv /test/hadoopfile /test/newfile`：将 HDFS 中 test 目录下的文件 hadoopfile 移动到 test 目录下的 newfile 中。 综上所述，HDFS Shell 对于 Hadoop 分布式文件系统的管理和维护具有很重要的意义，能够方便地进行文件的上传、下载、删除、创建等操作。此外，HDFS Shell 还支持批量处理和脚本编程，可以方便地实现批量操作，提高操作效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值