大数据技术原理与应用实验报告--HDFS分布式文件系统

VichyLeong

已于 2023-06-08 10:42:01 修改

阅读量1.5k

点赞数 2

分类专栏：大数据技术原理与应用文章标签： hdfs 大数据 hadoop

于 2023-06-08 10:06:30 首次发布

本文链接：https://blog.csdn.net/TNTvichy/article/details/131101773

版权

大数据技术原理与应用专栏收录该内容

5 篇文章 3 订阅

订阅专栏

该实验涉及在HDFS上创建目录，从本地上传文件，查看文件内容，检查集群安全模式，并使用JavaAPI进行文件上传和下载。具体步骤包括mkdir命令创建目录，touch和put命令用于文件操作，cat命令查看文件内容，通过hadoopdfsadmin检查安全模式，以及用Java代码实现HDFS的文件交互。

摘要由CSDN通过智能技术生成

一、实验内容：

1.在HDFS创建目录 /mytestdir/ch04

2.在本地文件系统创建文件，文件名为自己名字拼音全拼，使用put命令将该文件上传到HDFS的/mytestdir/ch04中

3.使用 –cat命令查看刚刚上传的文件内容

4.查看集群的安全模式

5.在本地文件系统创建文件，文件名为自己学号，使用API方式上传该文件到/mytestdir中，并将其下载到本地/home/hadoop下。（给出编程代码，及hdfs文件截图）

二、实验环境--Hadoop集群

三、实验过程

1.在HDFS创建目录 /mytestdir/ch04

命令语句：hadoop fs -mkdir -p /mytestdir/ch04

2.在本地文件系统创建文件，文件名为自己名字拼音全拼，使用put命令将该文件上传到HDFS的/mytestdir/ch04中

命令语句：touch liangwanying.txt

hadoop fs -put liangwanying.txt /mytestdir/ch04

3.使用 –cat命令查看刚刚上传的文件内容

命令语句：hadoop fs -cat /mytestdir/ch04/liangwanying.txt

4.查看集群的安全模式
命令语句：hadoop dfsadmin -safemode get

前四题结果截图：

package org.zkpk.hadoop.hdfs.fs;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class File {
    public static void main(String[] agrs) throws Exception{
     testCopyFromLocalFile();
     downloadFile2();
    }
    public static void testCopyFromLocalFile() throws Exception{
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), conf,"zkpk");
        fs.copyFromLocalFile(new Path("/home/zkpk/202008764302.txt"),new Path("/mytestdir"));
        fs.close();
    }
       
    public static void downloadFile2() throws URISyntaxException, IOException, InterruptedException {
       FileSystem fileSystem = FileSystem.get(new URI("hdfs://master:9000"), new Configuration(),"zkpk");
       fileSystem.copyToLocalFile(new Path("/mytestdir"), new Path("/home/hadoop"));
        fileSystem.close();
    }
}

HDFS文件截图