HDFS分布式文件系统

一、实验目的及要求 1、掌握常用的HDFS的Shell命令 2、掌握Java API实现HDFS文件系统的操作

二、实验原理与内容 1.在HDFS创建目录  /mytestdir/ch04 2.在本地文件系统创建文件，文件名为自己名字拼音全拼，使用put命令将该文件上传到HDFS的/mytestdir/ch04中 3.使用 –cat命令查看刚刚上传的文件内容 4.查看集群的安全模式 5.在本地文件系统创建文件，文件名为自己学号，使用API方式上传该文件到/mytestdir中，并将其下载到本地/home/hadoop下。（给出编程代码，及hdfs文件截图）

三、实验软硬件环境 Hadoop集群

四、实验过程（实验步骤、记录、数据、分析） 注：分别列出题目，给出相应命令语句，以及结果截图 在HDFS创建目录  /mytestdir/ch04  命令语句：hadoop fs -mkdir -p /mytestdir/ch04 2.在本地文件系统创建文件，文件名为自己名字拼音全拼，使用put命令将该文件上传到HDFS的/mytestdir/ch04中       命令语句：touch Liangyanxing.txt（上传文件前，可以用vi Liangyanxing.txt命令，在文件里面写东西，要不然上传的是一个空的txt文件）      hadoop fs -put Liangyanxing.txt /mytestdir/ch04 3.使用 –cat命令查看刚刚上传的文件内容 命令语句：hadoop fs -cat /mytestdir/ch04/Liangyanxing.txt 4.查看集群的安全模式       命令语句：hadoop dfsadmin -safemode get（有Safe mode is OFF 就是正确的了） 5.在本地文件系统创建文件，文件名为自己学号，使用API方式上传该文件到/mytestdir中，并将其下载到本地/home/hadoop下。（给出编程代码，及hdfs文件截图） 编程代码: package test; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class File {     public static void main(String[] agrs) throws Exception{      testCopyFromLocalFile();      downloadFile2();     }     public static void testCopyFromLocalFile() throws Exception{         Configuration conf = new Configuration();         FileSystem fs = FileSystem.get(new URI("hdfs://localhost:9000"), conf,"lyx");         fs.copyFromLocalFile(new Path("/home/lyx/bigdata/202108764225.txt"),new Path("/mytestdir"));         fs.close();     }        （path里面的路径要根据自己起的路径，删除运行）     public static void downloadFile2() throws URISyntaxException, IOException, InterruptedException {        FileSystem fileSystem = FileSystem.get(new URI("hdfs://localhost:9000"), new Configuration(),"lyx");        fileSystem.copyToLocalFile(new Path("/mytestdir"), new Path("/home/hadoop"));         fileSystem.close();     } } hdfs文件截图:

运行eclipse-4.7.0-linux.gtk.x86_64.gz的注意事项：

项目文件右键-->Build Path-->Configure Build Path:

然后进入下面页面-->

选择红圈部分-->

分别进入这五个文件夹，将jre文件和lib文件夹里面的jar文件都添加到eclipse里面（这部分步骤重复多，慢慢来），添加完成后就可以运行代码了。

（全选，按着ctrl,一个一个选择）