初识Hadoop

$$初识Hadoop$$

• 1.课程目录
• 2.Hadoop概述
• 3. Hadoop核心组件之HDFS概述
• 4.Hadoop核心组件之MapReduce
• 5.Hadoop核心组件之YARN
• 6.Hadoop优势
• 7.Hadoop发展史
• 8.Hadoop生态圈
• 9.Hadoop发行版选型
• 10.OOTB环境的使用

1.课程目录

2.Hadoop概述

Hadoop名字的由来，Doug Cutting 是其创始人

Hadoop是其孩子的大象玩具的名字

补充：

Spring的创始人：Rod Johnson

• http://hadoop.apache.org/

The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.

Hadoop：是一个分布式的系统基础架构（用户可以在不了解分布式底层细节的情况下进行使用），提供分布式的存储（一个文件被拆分成很多块，并且以副本 的方式存储在各个节点中）和计算。

分布式文件系统：HDFS 实习将文件分布式存储在很多的服务器上
分布式计算框架：MapReduce实现在很多机器上分布式并行计算
分布式资源调度框架：YARN 实现集群资源管理以及作业调度

3. Hadoop核心组件之HDFS概述

HDFS是Google 的GFS论文实现,是GFS的克隆

HDFS：扩展性、容错性、海量存储

---

工作机制：

• 将文件切分成指定大小的数据块并以多副本的存储在多个机器上
  

• 数据的切分、多副本、容错等操作对用户是透明的

4.Hadoop核心组件之MapReduce

MapReduce是Google的MapReduce论文的实现，是Goole MapReduce的克隆

特点：扩展性、容错性、海量数据离线处理

5.Hadoop核心组件之YARN

• YARN:Yet Another Resource Negotiator
• 负责整个集群资源的管理和调度
• 特点：扩展性、容错性、多框架资源统一调度

6.Hadoop优势

1.高可靠性

• 数据存储：数据块多副本
• 数据计算：重新调度作业计算

2 高扩展性

• 存储/计算资源不够时，可以横向的线性扩展机器
• 一个集群中可以包含数以千计的节点

3 存储在廉价的机器上，降低成本

4 成熟的生态圈

7.Hadoop发展史

Hadoop诞生于2006年1月28日

8.Hadoop生态圈

---

• 狭义的Hadoop
  是一个适合大数据分布式存储（HDFS）、分布式计算（MapReduce)和资源调度（YARN）的平台

---

• 广义的Hadoop
  指的是Hadoop生态系统，Hadoop生态系统是一个很庞大的概念，Hadoop是其中最重要最基础的一个部分；生态系统中的每一个子系统只解决某一个特定的问题领，不搞统一的全能性系统，而是小而精的多个小系统

---

补充：ZooKeeper为什么叫ZooKeeper，因为其管理的软件都是动物

9.Hadoop发行版选型

10.OOTB环境的使用