Hadoop和Ambari 平台介绍

 

1、Hadoop概述

Hadoop 由 Apache Software Foundation 公司于 2005 年秋天作为Lucene 的子项目Nutch 的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。

---

目前Hadoop 版本以Hadoop2.7.x 为主，我使用的是Hadoop2.7.3。

2、Hadoop生态圈

核心组件包括Hadoop 的基础组件HDFS、MapReduce 和Yarn，以及其他常用组件如：HBase、Hive、Hadoop Streaming、Zookeeper 等。 

3、组件介绍

• HDFS：分布式海量数据存储功能
• Yarn：提供资源调度与任务管理功能
  • 资源调度：根据申请的计算任务，合理分配集群中的计算节点(计算机)。
  • 任务管理：任务在执行过程中，负责过程监控、状态反馈、任务再调度等工作。
• MapReduce：分布式并行编程模型和计算框架。解决分布式编程门槛高的问题，基于其框架对分布式计算的抽象map 和