网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
MapReduce是“ 任务的分解与结果的汇总”。
Map把数据切分——分布式存放、计算。
Reduce把分布计算得到的结果进行整合,汇总(Shuffle)得出最终的结果。
MapReduce是一种“分治”计算思想,把一个大任务分割成许多小单元,最后再将每个小任务单元结果汇总,求得最终结果。
HDFS
HDFS把文件切分成block块进行存储(默认block大小尺寸为128m),然后这些block块被复制到多个计算机中(DataNode)。这有一个容错机制,副本策略,默认一块数据会有三个block,当前机器存储一份(数据本地化),另外一个机架存储一份,该机架的不同机器存储一份。
Hadoop在处理大数据时候特别需要注意:
1、 非常适合处理超大规模的数据集(TB,PB量级),非常不适合处理大量小文件。
2、 Hadoop一次写入,多次读写。Hadoop不支持随机修改文件。
3、Hadoop数据处理高延迟,数据的实时性不高。原因很显然,因为处理的数据规模非常大且是以分布式方式存储,读写访问需要花费更多时间。
Hadoop特点总结:不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。
Hive
简单说,Hive提供了一种独特的SQL查询语句,使得熟悉SQL的开发者通过编写SQL语句即可访问Hadoop存储的海量数据,通过hive的SQL查询语句,开发者可以在一定程度上绕过MapReduce。hive可以用SQL的语言转化成Map Reduce任务对hdfs数据的查询分析。hive的使用者无需写Map Reduce任务,掌握SQL可完成查询分析工作。
Hbase
Hbase是一种NoSQL数据库。HBase是非关系型数据库(Nosql),在某些业务场景下,数据存储查询在Hbase的使用效率更高。
Yarn
Yarn是分布式集群资源管理框架。
MapReduce的Shuffle
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
,并且后续会持续更新**