2021山东大学软件工程应用与实践项目——Hadoop源码分析

2021SC@SDUSC

Hadoop源码分析（一）——源码下载及分工

---

---

前言

2021年山东大学软件工程应用与实践选题Hadoop，作为大数据专业，了解掌握Hadoop感觉是必不可少的，所以借这个机会，选择了分析Hadoop源码这一项目，希望有所搜获，在此记录。

---

一、Hadoop是什么？

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统，其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求，可以以流的形式访问文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。（百度百科）

二、HDFS

Hadoop分布式文件系统是指被设计成适合运行在通用硬件上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问