实验环境:
(1)操作系统:Linux(建议 Ubuntu 16.04 或 Ubuntu 18.04)。
(2)Hadoop 版本:3.1.3。
(3)JDK 版本:1.8。
(4)Java IDE: Eclipse。
实验内容与完成情况:
(1)编程实现以下功能,并利用Hadoop提供的Shell命令完成相同任务。
①向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,则由用户来指定是追加到原有文件末尾还是覆盖原有的文件。
执行完上述命令不会输出结果,需要继续输入命令查看结果:
如果结果显示文件已经存在,则用户可以选择追加到原来文件末尾或者覆盖原来文件,具体命令如下:
②从HDFS中下载指定文件,如果本地文件与要下载的文件名相同,则自动对下载的 文件重命名。
③将HDFS中指定文件的内容输出到终端中。
④显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息。
⑤给定HDFS中某个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路 径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息。
⑥提供一个HDFS内的文件的路径,对该文件进行创建和删除操作。如果文件所在目 录不存在,则自动创建目录。
⑦提供一个HDFS目录的路径,对该目录进行创建和删除操作。创建目录时,如果目录文件所在目录不存在,则自动创建相应目录;删除目录时,由用户指定当该目录不为空时 是否还删除该目录。
⑧向HDFS中指定的文件追加内容,由用户指定内容追加到原有文件的开头或结尾。
⑨删除HDFS中指定的文件。
Shell命令:
$ hdfs dfs -rm weiguo2.txt
⑩在HDFS中,将文件从源路径移动到目的路径。
Shell命令:
$ hdfs dfs -mv weiguo.txt wuguo.txt
(2)编程实现一个类 MyFSDatalnputStream,该类继承 org. apache, hadoop. fs. FSDatalnputStream,要求如下:实现按行读取HDFS中指定文件的方法readLine(),如果 读到文件末尾,则返回空;否则,返回文件一行的文本。
Java代码:
package com.xusheng.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem