【大数据实验】熟悉常用的 HDFS 操作

最新推荐文章于 2024-10-10 19:25:11 发布

AinD

最新推荐文章于 2024-10-10 19:25:11 发布

阅读量1.3w

点赞数 19

文章标签： hadoop

本文链接：https://blog.csdn.net/qq_43201710/article/details/105856435

版权

文章目录

一、实验目的
二、实验平台
三、实验内容和要求

一、实验目的

理解 HDFS 在 Hadoop 体系结构中的角色；
熟练使用 HDFS 操作常用的 Shell 命令；
熟悉 HDFS 操作常用的 Java API。

二、实验平台

操作系统：Ubuntu 16.04
Hadoop 版本：3.1.3
JDK 版本：1.8
Java IDE：IDEA2020

三、实验内容和要求

（1）向 HDFS 中上传任意文本文件，如果指定的文件在 HDFS 中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件

开启hadoop服务：

创建两个文档用于实验
在这里插入图片描述

出现"hadoop：未找到命令"错误，解决方案有以下两种

在这里插入图片描述

1.在执行hadoop命令前加上“./sbin”，例如上图可以改为”./sbin/hadoop fs -cat local.txt“
2.shell命令修改环境变量 : export PATH=$PATH:/usr/local/hadoop/bin ,路径为hadoop安装路径。

上传cloud.txt文档
在这里插入图片描述
将local.txt内容追加到cloud.txt末尾

将local.txt内容覆盖到cloud.txt

hadoop fs -copyFromLocal local.txt cloud.txt

（2）从 HDFS 中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名

if $(hadoop fs -test -e /usr/local/hadoop/cloud/txt);
then $(hadoop fs -copyToLocal cloud.txt ./cloud.txt);
else $(hadoop fs -copyToLocal cloud.txt ./cloud2.txt);
fi

在这里插入图片描述

（3）将 HDFS 中指定文件的内容输出到终端中

hadoop fs -cat cloud.txt

在这里插入图片描述

（4）显示 HDFS 中指定的文件的读写权限、大小、创建时间、路径等信息

hadoop fs -ls -h cloud.txt

在这里插入图片描述

（5）给定 HDFS 中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信息

hadoop fs -lsr -h /

在这里插入图片描述

（6）提供一个 HDFS 内的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录

hadoop fs -touch /test/test.txt //所在目录不存在时，创建新的空白文件
hadoop fs -rm -R /test/test.txt //删除文件

（7）提供一个 HDFS 的目录的路径，对该目录进行创建和删除操作。创建目录时，如果目录文件所在目录不存在则自动创建相应目录；删除目录时，由用户指定当该目录不为空时是否还删除该目录；

在这里插入图片描述

hadoop fs -mkdir -p file1/file2
hadoop fs -touchz file1/file2/test.txt
hadoop fs -rm -r file1/file2

（8）向 HDFS 中指定的文件追加内容，由用户指定内容追加到原有文件的开头或结尾；

在这里插入图片描述

hadoop fs -appendTofile local.txt cloud.txt //将本地local.txt的内容添加到cloud.txt的末尾

（9）删除 HDFS 中指定的文件；

在这里插入图片描述

hadoop fs -rm ./cloud.txt //注意是删除HDFS中文件，本地的local.txt文件无法删除，会出现如图找不到此文件错误

（10）删除 HDFS 中指定的目录，由用户指定目录中如果存在文件时是否删除目录；

hadoop fs -rmr file1/file2

（11）在 HDFS 中，将文件从源路径移动到目的路径。

hadoop fs -mv /usr/local/hadoop/from.txt /usr/local/hadoop/to.txt

编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInput Stream”，要求如下：实现按行读取 HDFS 中指定文件的方法“readLine()”，如果读到文件末尾，则返回空，否则返回文件一行的文本。

public class read {
    public void read() throws Exception{
        FSDataInputStream f = fileSystem.open(new path("/usr/local/hadoop/test.txt"));
        BufferedReader re = new BufferedReader(new InputStreamReader(f,"UTF-8"));
        System.out.println(re.readLine());
        re.close();
    }
}