最新大数据技术与应用，2024年最新BTAJ面试有关散列（哈希）表的面试题详解

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

概述：

一个用于分布式大数据处理的开源框架，由Apache基金会所开发的分布式系统基础框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。同常是指一个更广泛的概念-Hadoop生态圈。

4.Hadoop HDFS架构：

HDFS的优点：                                      HDFS的缺点：

（1）高容错；                                     （1）高延迟；

（2）流式数据访问；                          （2）不适合小文件存取；

（3）支持超大文件；                          （3）不适合并发写入。

（4）高数据吞吐量。

HDFS流程：

HDFS读文件的流程包括：客户端向NameNode发送读取文件的请求，NameNode验证权限和路径并返回文件的元数据信息，客户端根据元数据信息获取数据块所在的数据节点列表，客户端与数据节点建立连接并发送读取数据块的请求，数据节点将数据块发送给客户端，客户端接收并处理数据块，通过重复这个过程直到读取完所有数据块。

5.HDFS读的流程：

HDFS客户端通过DistributedFileSystem对象的open(方法打开要读取的文件。
DistributedFileSystem负责向远程的名称节点( NameNode)发起RPC调用，得到文件的数据块信息，返回数据块列表。对于每个数据块，NameNode返回该数据块的DataNode地址。
DistributedFileSystem返回-一个FSDatalnputStream对象给客户端，客户端调用FSData-InputSream 对象的read0方法开始读取数据。
通过对数据流反复调用read()方法，把数据从数据节点传输到客户端。
当一个节点的数据读取完毕时，DFSInputStream 对象会关闭与此数据节点的连接，连接此文件下一个数据块的最近数据节点。
当客户端读取完数据时，调用FSDataInputStream 对象的close()方法关闭输入流。

6.Hadoop的优势：

（1）扩展能力强；

（2）成本低；

（3）高效率；

（4）可靠性；

（5）高容错性。

HDFS是Hadoop的分布式文件系统，它是Hadoop生态系统中的核心项目之一，是分布式计算中数据存储管理基础。

MapReduce是一种计算模型，用于大规模数据集（大于1TB）的并行运算。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

需要这份系统化资料的朋友，可以戳这里获取