大家好,我是 梦想家Alex 。之前实际上我也写了不少关于大数据技术组件的文章,例如:
前方高能 | HDFS 的架构,你吃透了吗?
MapReduce 的核心知识点,你都 get 到了吗 ?
从 0 到 1 学习 Presto,这一篇就够了
…
但感觉基本上都是在描述一些理论层面的内容,缺少一些架构的思想精髓 。而且大数据技术其实是分布式技术在数据处理领域的创新型应用,其本质就是利用更多的计算机组成一个集群,提供更多的计算资源,从而满足更大的计算压力要求。说的通俗易懂一些,就是大数据技术的诞生解决的就是数据存储和计算的问题。正好最近在刷李智慧老师的书和极客专栏,想输出一些干货。那本篇文章,我想先通过一个引子,为大家带来 Hadoop 三大组件,例如 HDFS,MapReduce,Yarn 的架构分析和梳理,希望对大家学习成长有所帮助 。
