Hadoop学习笔记

1.定义：Hadoop是一个由 Apache Software Foundation 开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS（分布式文件系统）和MapReduce（一种数据处理的编程模型）。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
2.优点：
（1）高可靠性。因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop按位存储和处理数据的能力值得人们信赖。
（2）高扩展性。能够处理 PB 级数据。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
（3）高效性。因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
（4）高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
（5）低成本。Hadoop 依赖于社区服务，因此它的成本比较低，任何人都可以使用。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。