大佬用28小时讲述大数据HadoopHDFS集群搭建和MapReduce源码解析

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

1.HDFS是一个高度容错性的系统，适合部署在廉价的机器上。

HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

2.MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。

概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

 

 

Hadoop的学习路线和知识点大致包括：

 01.hadoop-大数据启蒙-初识HDFS；
02.hadoop-HDFS理论基础读写流程；
03.hadoop-HDFS集群搭建-伪分布式模式；
04.hadoop-HDFS集群搭建-HA模式概念；
05.hadoop-HDFS集群搭建-HA模式验证；
06.hadoop-HDFS权限、企业级搭建；
07.hadoop-MapReduce原理精讲、轻松入门；
08.hadoop-MapReduce调度原理，Yarn原理；
09.hadoop-MapReduce-Yarn集群搭建、idea开发MR的WC程序；
10.hadoop-MapReduce作业提交方式、源码-客户端提交源码；
11.hadoop-MapReduce源码-MapTask-input源码精讲；
12.hadoop-MapReduce源码-MapTask-output和ReduceTask精讲；
13.hadoop-MapReduce开发-分组取TopN-API精炼；
14.hadoop-MapReduce开发-推荐系统-大数据思维模式；

我认为，作为一名优秀的 Java 开发程序员，以及那些想要学习 Java 更深层一点的知识的同学，对源码框架的熟悉与熟练阅读与使用是必不可缺的核心技能，这样也更容易在新一轮技术浪潮中获得主动。

 

 

那么，如何着手学习呢？

给大家推荐《Hadoop零基础从零入门到精通》的学习视频，看看大佬到底是怎么样来理解和分析Hadoop的。