大数据-实验2 熟悉常用的HDFS操作

1、向HDFS中上传任意文件,如果指定的文件在HDFS中已经存在,由客户指定是追加到原有文件末尾还是覆盖原有文件。
首先,打开Hadoop系统,进入Hadoop下,但是当你输入以Hadoop开头的命令时,出现以下错误,原因是没有启动Hadoop的代码块
在这里插入图片描述
此时用sbin/start-dfs.shsbin/start-yarn.sh这两个命令打开。
在这里插入图片描述
接下来自己写入两个文件:
在这里插入图片描述
当echo $?命令输出为0是文件才是上传到,appendToFile 和 copyFromLocal 分别是追加和覆盖的命令
(2)从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名;

if $(./bin/hdfs dfs -test -e /usr/local/hadoop/text.txt);
then $(./bin/hdfs dfs -copyToLocal text.txt ./text.txt); 
else $(./bin/hdfs dfs -copyToLocal text.txt ./text2.txt); 
fi

(3)将HDFS中指定文件的内容输出到终端中
在这里插入图片描述
(4)显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;
在这里插入图片描述
(5)给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息;
在这里插入图片描述
(6)提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目录不存在,则自动创建目录;
在这里插入图片描述
(7)提供一个 HDFS 的目录的路径,对该目录进行创建和删除操作。创建目录时, 如果目录文件所在目录不存在则自动创建相应目录;删除目录时,由用户指定 当该目录不为空时是否还删除该目录;
mkdir只能删除空目录,不能删除非空目录。
在这里插入图片描述
在这里插入图片描述
(8)删除 HDFS 中指定的文件;
在这里插入图片描述
“>>"追加
(9)删除 HDFS 中指定的文件;
在这里插入图片描述
(10)在 HDFS 中,将文件从源路径移动到目的路径。
在这里插入图片描述

  • 2
    点赞
  • 37
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HDFS(Hadoop分布式文件系统)是Hadoop框架中的分布式文件系统,用于存储和管理大规模数据集。在实验1中,我们将学习如何使用HDFS进行一些常见的操作。 首先,我们需要启动HDFS。通过运行`start-dfs.sh`命令来启动HDFS的所有组件,包括NameNode(负责管理文件系统的命名空间)和DataNode(存储实际的数据块)。 接下来,我们要创建并上传文件到HDFS。使用`hdfs dfs -mkdir`命令创建一个新的目录,例如`hdfs dfs -mkdir /user/input/`。然后,使用`hdfs dfs -put`命令将本地文件上传到HDFS中的目录中,例如`hdfs dfs -put input.txt /user/input/`。 在HDFS中,我们可以使用`hdfs dfs -ls`命令列出文件和目录的内容。例如,`hdfs dfs -ls /user/input/`将显示该目录下的所有文件和子目录。 如果我们想要从HDFS下载文件到本地文件系统,可以使用`hdfs dfs -get`命令。例如,`hdfs dfs -get /user/input/input.txt`将从HDFS中下载文件到当前工作目录。 除了上传和下载文件,我们还可以使用`hdfs dfs -cat`命令在终端查看文件的内容。例如,`hdfs dfs -cat /user/input/input.txt`将在终端上显示文件的内容。 最后,当我们不再需要某个文件或目录时,可以使用`hdfs dfs -rm`命令从HDFS中删除它们。例如,`hdfs dfs -rm /user/input/input.txt`将删除HDFS中的文件。 总结来说,这个实验教会我们如何使用HDFS进行文件和目录的创建、上传、下载和删除操作。这些基本操作是我们在使用Hadoop进行大规模数据处理时的基础。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值