大数据技术原理与应用实验报告--HDFS分布式文件系统

一、实验内容：

1.在HDFS创建目录  /mytestdir/ch04

2.在本地文件系统创建文件，文件名为自己名字拼音全拼，使用put命令将该文件上传到HDFS的/mytestdir/ch04中

3.使用 –cat命令查看刚刚上传的文件内容

4.查看集群的安全模式

5.在本地文件系统创建文件，文件名为自己学号，使用API方式上传该文件到/mytestdir中，并将其下载到本地/home/hadoop下。（给出编程代码，及hdfs文件截图）

二、实验环境--Hadoop集群

三、实验过程

1.在HDFS创建目录  /mytestdir/ch04

命令语句：hadoop fs -mkdir -p /mytestdir/ch04

2.在本地文件系统创建文件，文件名为自己名字拼音全拼，使用put命令将该文件上传到HDFS的/mytestdir/ch04中

命令语句：touch liangwanying.txt

hadoop fs -put liangwanying.txt /mytestdir/ch04

3.使用 –cat命令查看刚刚上传的文件内容

命令语句：hadoop fs -cat /mytestdir/ch04/liangwanying.txt

4.查看集群的安全模式
    命令语句：hadoop dfsadmin -safemode get

前四题结果截图：

 5.在本地文件系统创建文件，文件名为自己学号，使用API方式上传该文件到/mytestdir中，并将其下载到本地/home/hadoop下。（给出编程代码，及hdfs文件截图）

package org.zkpk.hadoop.hdfs.fs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class File {
    public static void main(String[] agrs) throws Exception{
     testCopyFromLocalFile();
     downloadFile2();
    }
    public static void testCopyFromLocalFile() throws Exception{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), conf,"zkpk");
        fs.copyFromLocalFile(new Path("/home/zkpk/202008764302.txt"),new Path("/mytestdir"));
        fs.close();
    }
       
    public static void downloadFile2() throws URISyntaxException, IOException, InterruptedException {
       FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration(),"zkpk");
       fileSystem.copyToLocalFile(new Path("/mytestdir"), new Path("/home/hadoop"));
        fileSystem.close();
    }
}

HDFS文件截图