初识Hadoop(1)，三幅图给你弄懂EventBus核心原理

三.Hadoop的优势

1. 扩容能力强
2. 成本低
3. 高效率
4. 可靠性
5. 高容错性

四．Hadoop生态圈

指以Hadoop为基础的生态圈，是一个很庞大的体系，Hadoop只是其中最重要、最基础的一部分；生态圈中的每个子系统只负责解决某一个特定的问题区域，甚至可能更小，它并不是一个全能系统，而是多个小的系统的集成。Hadoop生态圈的构成如下图：

​

五．Hadoop HDFS架构

HDFS（Hadoop Distribute File System）分布式文件系统

分布式文件系统 distributed file system 是指文件系统管理的物理存储资源不一定直接链接在本地节点上，而是通过计算机网络与节点相连，可让多机器上的多用户分享文件和存储空间。分布式文件系统的设计基于客户机/服务器模式

HDFS架构图如下图所示：

HDFS优势：

1、可构建在廉价机器上，设备成本相对低

2、高容错性

3、适合批处理

4、适合存储大文件

HDFS劣势：

1、由于提高吞吐量，降低实时性

2、如果存储了大量的小文件，会对造成很大的压力

3、不合适小文件处理

4、不适合文件的修改，文件只能追加在文件的末尾，不支持任意位置修改，不支持多个写入者操作

六．HDFS读的流程

先上图：

1.HDFS客户端远程调用Namenode，查询元数据信息，获得这个文件的数据块位置列表，返回封装DFSIntputStream的HdfsDataInputStream输入流对象。

2.客户端选择一台可用Datanode服务器，请求建立输入流。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

新**

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-12tmTnlG-1712555215416)]