初识Hadoop

1.项目起源

Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。

2.所用版本

目前Hadoop版本以Hadoop2.7.x为主，我们的课程选择Hadoop2.7.3。

3.Hadoop核心组件与应用

 组件介绍 : 

HDFS:分布式海量数据存储功能

Yarn: 提供资源调度与任务管理

1. 资源调度：根据申请的计算任务，合理分配集群中的计算节点(计算机)。
2. 任务管理：任务在执行过程中，负责过程监控、状态反馈、任务再调度等工作。

MapReduce: 分布式并行编程与计算框架

Hive: 数据仓库(不能做到实时)

        提供数据摘要和查询的数据仓库。解决数据仓库构建问题，基于Hadoop平台的存储与计算，与传统SQL相结合，让熟悉SQL的编程人员轻松向Hadoop平台迁移。

Streming: `解决非Java开发人员使用Hadoop平台的语言问题

HBase:  列示存储模型的分布式数据库,提供对 海量数据的随机实时读/写访问。

Zookeeper: 分布式协同服务,主要解决分布式数据管理问题,统一命名、状态同步、集群管理、配置同步

4. Hadoop生态圈