Hadoop 简介
Hadoop 是一个由 Apache 基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。解决了大数据(大到一台计算机无法进行存储,一台计算机无法在要求的时间内进行处理)的可靠存储和处理。适合处理非结构化数据,包括 HDFS, MapReduce 基本组件
1. Hadoop 版本衍化历史
Apache Hadoop版本分为分为 1.0和 2.0两代版本,我们将第一代 Hadoop称为Hadoop1.0,第二代 Hadoop 称为 Hadoop 2.0。
第一代 Hadoop 包含三个大版本,分别是 0.20.x,0.21.x 和 0.22.x,其中,0.20.x 最后演化成 1.0.x,变成了稳定版。
第二代 Hadoop 包含两个版本,分别是 0.23.x 和 2.x,它们完全不同于 Hadoop 1.0,是一套全新的架构,均包含 HDFS Federation 和 YARN 两个系统,相比于 0.23.x, 2.x 增加了NameNode HA 和 Wire-compatibility 两个重大特性。
2.Hadoop 生态圈
Hadoop 包括大量的工具,用来协同工作。因此, Hadoop 可用于完成许多事情,以至于,人们常常根据他们使用的方式来定义它。
对于一些人来说, Hadoop 是一个数据管理系统。他们认为 Hadoop是数据分析的核心,汇集了结构化和非结构化的数据,这些数据分布在传统的企业数据栈的每一层。对于其他人,Hadoop 是一个大规模并行处理框架,拥有超级计算能力,定位于推动企业级应用的执行。还有一些人认为 Hadoop作为一个开源社区,主要为解决大数据的问题提供工具和软件。因为 Hadoop 可以用来解决很多问题,所以很多人认为 Hadoop 是一个基本框架。
虽然 Hadoop提供了这么多的功能,但是仍然应该把它归类为多个组件组成的 Hadoop生态圈,这些组件包括数据存储、数据集成、数据处理和其它进行数据分析的专门工具。
1) HDFS: Hadoop 生态圈的基本组成部分是 Hadoop 分布式文件系统( HDFS)。 HDFS 是一种数据分布式保存机制,数据被保存在计算机集群上。数据写入一次,读取多次。HDFS为 HBase 等工具提供了基础。
2) MapReduce: Hadoop 的主要执行框架是 MapReduce,它是一个分布式、并行处理的编程模型。 MapReduce 把任务分为 map(映射)阶段和 reduce(化简)。开发人员使用存储在HDFS 中数据(可实现快速存储),编写 Hadoop 的 MapReduce 任务。由于 MapReduce工作原理的特性, Hadoop 能以并行的方式访问数据,从而实现快速访问数据。
3) Hbase: HBase 是一个建立在 HDFS 之上,面向列的 NoSQL 数据库,用于快速读/写大量数据。 HBase 使用 Zookeeper 进行管理,确保所有组件都正常运行。
4) ZooKeeper:用于 Hadoop 的分布式协调服务。Hadoop 的许多组件依赖于 Zookeeper,它运行在计算机集群上面,用于管理 Hadoop 操作。
5) Hive: Hive 类似于 SQL 高级语言,用于运行存储在 Hadoop 上的查询语句, Hive 让不熟悉 MapReduce 开发人员也能编写数据查询语句,然后这些语句被翻译为 Hadoop 上面的 MapReduce 任务。像 Pig 一样, Hive 作为一个抽象层工具,吸引了很多熟悉 SQL 而不是 Java 编程的数据分析师。
6) Pig: 它是 MapReduce 编程的复杂性的抽象。 Pig 平台包括运行环境和用于分析 Hadoop数据集的脚本语言(Pig Latin)。其编译器将 Pig Latin 翻译成 MapReduce 程序序列。
7) Sqoop:是一个连接工具,用于在关系数据库、数据仓库和 Hadoop之间转移数据。Sqoop利用数据库技术描述架构,进行数据的导入/导出;利用 MapReduce实现并行化运行和容错技术