大数据：Hadoop基础常识hive，hbase，MapReduce，Spark

Reduce把分布计算得到的结果进行整合，汇总（Shuffle）得出最终的结果。

MapReduce是一种“分治”计算思想，把一个大任务分割成许多小单元，最后再将每个小任务单元结果汇总，求得最终结果。

HDFS

HDFS把文件切分成block块进行存储（默认block大小尺寸为128m），然后这些block块被复制到多个计算机中（DataNode）。这有一个容错机制，副本策略，默认一块数据会有三个block，当前机器存储一份（数据本地化），另外一个机架存储一份，该机架的不同机器存储一份。

Hadoop在处理大数据时候特别需要注意：

1、    非常适合处理超大规模的数据集（TB，PB量级），非常不适合处理大量小文件。

2、    Hadoop一次写入，多次读写。Hadoop不支持随机修改文件。

3、Hadoop数据处理高延迟，数据的实时性不高。原因很显然，因为处理的数据规模非常大且是以分布式方式存储，读写访问需要花费更多时间。

Hadoop特点总结：不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。

Hive

简单说，Hive提供了一种独特的SQL查询语句，使得熟悉SQL的开发者通过编写SQL语句即可访问Hadoop存储的海量数据，通过hive的SQL查询语句，开发者可以在一定程度上绕过MapReduce。hive可以用SQL的语言转化成Map Reduce任务对hdfs数据的查询分析。hive的使用者无需写Map Reduce任务，掌握SQL可完成查询分析工作。

Hbase

Hbase是一种NoSQL数据库。HBase是非关系型数据库(Nosql)，在某些业务场景下，数据存储查询在Hbase的使用效率更高。

Yarn

Yarn是分布式集群资源管理框架。

MapReduce的Shuffle

MapReduce在任务结束后将数据存放到硬盘中。Hadoop的MapReduce计算模型存在问题是: MapReduce关键过程是Shuffle(洗牌)，在整个Shuffle过程中，基于MapReduce计算引擎通常会将结果输出到硬盘上而不是直接在内存中，进行存储和容错。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**