Hadoop+Spark大数据技术 第三次作业

• 第三次作业

  • 1.简述HDFS Shell三种操作命令hadoop fs、hadoop dfs、hdfs dfs的异同点。

    • 相同点

      • 用于与 Hadoop 分布式文件系统（HDFS）交互。可以执行各种文件系统操作，如文件复制、删除、移动等。

    • 不同点

      • hadoop fs、hadoop dfs已弃用，新版本推荐使用hdfs dfs。

  • 2.简述常用HDFS Shell 用户命令及其功能，简述HDFS 管理员命令的作用。

    • 2.3.2 HDFS常用的Shell 操作

      • 1.创建目录——mkdir 命令

      • 2.列出指定目录下的内容——ls命令

      • 3.上传文件——put命令

      • 4.从HDFS中下载文件到本地文件系统——get命令

      • 5.复制文件——cp命令

      • 6.查看文件内容——cat命令

      • 7.在HDFS目录中移动文件——mv命令

      • 8、显示文件大小——du命令

      • 9.追加文件内容——appendToFile命令

      • 10.从本地文件系统中复制文件到HDFS——copyFromLocal命令

      • 11.从HDFS中复制文件到本地文件系统—copyToLocal命令

      • 12.从HDFS中删除文件和目录——rm命令

    • 管理员命令（dfsadmin）

      • 1.查看文件系统的基本信息和统计信息——report命令

        • 查看HDFS状态，比如有哪些DataNode、每个DataNode的情况

      • 2.安全模式——safemode命令

  • 3.简述HDFS文件操作主要涉及的Java类和FileSystem对象的常用方法。

    • 主要涉及的Java类

      • org.apache.hadoop.con.Configuration

        • 作用该类的对象封装了客户端或者服务器的配置

      • org.apache.hadoop.fs.FileSystem

        • 该类的对象是一个文件系统对象，可以用该对象的一些方法对文件进行操作。

      • org.apache.hadoop.fs.FileStatus

        • 用于向客户端展示系统中文件和目录的元数据，具体包括文件大小、数据块大小、副本信息、所有者、修改时间等。

      • org.apache.hadoop.fs.FSDatalnputStream

        • 文件输入流，用于读取Hadoop文件

      • org.apache.hadoop.fs.FSDataOutputStream

        • 文件输出流，用于写人Hadoop文件

      • org.apache.hadoop.fs.Path

        • 用于表示Hadoop文件系统中的文件或者目录的路径

    • 通过FileSystem 对象的一些方法可以对文件进行操作，常用方法如

      • copyFromLocalFile(Path src, Path dst)

        • 从本地文件系统复制文件到HDFS

      • copyToLocalFile(Path src, Path dst)

        • 从HDFS复制文件到本地文件系统

      • mkdirs(Path f)

        • 建立子目录

      • rename(Path src, Path dst)

        • 重命名文件或文件夹

      • delete(Path f)

        • 删除指定文件

  • 4.编写利用Java API实现上传文件至HDFS的Java程序。

    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import java.io.IOException;
    
    public class HdfsFileUploader {
    
        public static void main(String[] args) {
            // 设置 Hadoop 配置信息
            Configuration conf = new Configuration();
            // 设置 HDFS 地址
            conf.set("fs.defaultFS", "hdfs://localhost:9000");
    
            // 创建 HDFS 文件系统对象
            FileSystem fs = null;
            try {
                fs = FileSystem.get(conf);
                // 本地文件路径
                Path srcPath = new Path("local/path/to/your/file.txt");
                // HDFS 目标路径
                Path destPath = new Path("/path/in/hdfs/destination/file.txt");
                
                // 调用文件上传方法
                uploadFile(fs, srcPath, destPath);
                System.out.println("文件上传成功！");
            } catch (IOException e) {
                e.printStackTrace();
                System.out.println("文件上传失败：" + e.getMessage());
            } finally {
                // 关闭 FileSystem 对象
                if (fs != null) {
                    try {
                        fs.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
            }
        }
    
        // 文件上传方法
        public static void uploadFile(FileSystem fs, Path srcPath, Path destPath) throws IOException {
            // 将本地文件上传至 HDFS
            fs.copyFromLocalFile(srcPath, destPath);
        }
    }
    

  • 5.简述MapReduce并行编程模型的基本特点。

    • Cluster Infrastructure：

      • MapReduce 提供了一个基于集群的高性能并行计算平台，可以利用普通商用服务器构建分布式计算集群，规模从数十到数千个节点不等。

    • Software Framework：

      • 作为并行计算与运行软件框架，MapReduce 提供了一个设计精良的框架，自动处理并行化计算任务、数据划分、任务分配和结果收集等复杂细节，大大减轻了开发人员的负担。

    • Programming Model & Methodology：

      • MapReduce 借鉴了函数式编程语言 Lisp 的设计思想，提供了一种简便的并行程序设计模型与方法。开发人员可以利用 Map 和 Reduce 这两个函数实现并行计算任务，使用抽象的操作和接口完成大规模数据的编程和计算处理。

    • 分而治之策略：

      • MapReduce 采用了“分而治之”的策略，将大规模数据集切分成多个独立的小数据集，即分片，然后由多个 Map 任务并行处理，从而实现高效的数据处理。

    • 计算向数据靠拢：

      • MapReduce 设计中的一个理念是“计算向数据靠拢”，通过将计算任务部署在存储节点附近，减少了数据传输开销，提高了集群的网络带宽利用效率。

  • 6.通过教材中图3-6 – 图3-10，说明WordCount程序的Map和Reduce过程。

    • Map 过程：

      • 输入：Map 过程的输入是一组键-值对，其中键表示输入文本中的行号，值表示文本中的一行内容。

      • 映射：对于每个输入键-值对，Map 过程将其分解为单词，并为每个单词生成一个新的键-值对，其中键是单词，值为 1（表示单词出现一次）。

      • 输出：Map 过程生成一组新的键-值对，其中键是单词，值为 1。

    • Reduce 过程：

      • 输入：Reduce 过程的输入是一组键-值对，其中键是单词，值是该单词在输入文本中出现的次数。

      • 汇总：Reduce 过程对相同的单词进行汇总，将它们的值相加，得到单词出现的总次数。

      • 输出：Reduce 过程生成一组新的键-值对，其中键是单词，值是该单词在输入文本中出现的总次数。

    • 简言之，Map 过程将文本划分为单词，并为每个单词标记计数为 1，而 Reduce 过程则对相同单词的计数进行累加，最终得到每个单词的总出现次数。