Hadoop组件的一些总结

---

前言

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、Hadoop的组成

Hadoop一般指的是Hadoop生态圈，包括：
1.Hadoop HDFS:一个高可靠,高吞吐量的分布式文件系统（相当于磁盘）
2.Hadoop MapReduce:一个分布式的离线并行计算框架。（形象理解就相当于跑的一个个应用程序，比如QQ）
3.Hadoop Yarn：作业调度与集群资源管理的框架（相当于电脑系统）
4.Hadoop Common:支持其他模块的工具模块,就是辅助前三个能正常运行的一些工具包。

二、Hadoop是用来做什么的？

Hadoop 理解为大数据的操作系统。管存储、计算，主要将单机的工作任务进行分拆，变成协同工作的集群。用以解决日益增加的文件存储量和数据量瓶颈。

三、Hadoop有什么优势？

1.高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或者存储出现故障，也不会导致数据的丢失
2.高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
3.高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
4.高容错性：能够自动将失效的任务重新分配。

四、为什么用Hadoop

1.Hadoop可以轻松地处理大量的结构化、半结构化和非结构化数据。
2.实施成本较低,因为它可以使用普通商用硬件并根据需求伸缩。
3. Hadoop拥有一个处于不断增长状态中的社区,该社区通过频繁提交bug修复和增强功能来支持Hadoop。
4. Hadoop自身的库在构建时充分考虑了可用性,并且它的功能不依赖于底层的硬件。
5. 由于Hadoop固有的处理无格式数据的能力,使得它能灵活地处理各种数据。
6. Hadoop天生具有云化的属性,因此在云服务环境中部署完整的 Hadoop很容易实现。
7. Hadoop天然具有健壮性和容错能力。
8. Hadoop拥有强大的计算能力,因此非常适合用于计算密集型的分析需求。
9. Hadoop具有很高的运算速度,可以很容易地处理复杂的计算逻辑。

五.Hadoop解决了什么问题

1.大数据存储问题-HDFS
2.大数据计算问题-Mapreduce

总结

Hadoop是一个重要的大数据生态圈，它包含HDFS，MapReduce，Yarn以及common等重要组件。