初识Hadoop——核心组件与应用

Hadoop概述：

1. Hadoop核心组件与应用：

**- [1 ]核心组件：**核心组件包括Hadoop的基础组件HDFS、MapReduce和Yarn ，一级其他常用组件如：HBase、Hive、Hadoop、Streaming、Zookeeper等

2. 组件的介绍：

• [1 ] HDFS：分布式海量数据存储功能。

• [2] Yarn :提供资源调度与任务管理功能
  资源调度：根据申请的计算任务，合理分配集群中的计算节点（计算机）；

  任务管理：任务在执行过程中，负责过程监控、状态反馈、任务再调度等工作。

• [3] MapReduce:分布式并行编程模型和计算框架。解决分布式编程门槛高德问题，基于其框架对分布式计算的抽象map 和 reduce，可以轻松实现分布式计算程序。

• [4] Hive : 提供数据摘要和查询的数据仓库。解决数据仓库构建问题，基于Hadoop平台的存储与计算，与传统sql相结合，让熟悉sql的编程人员轻松向Hadoop平台迁移。

• [5]Strieaming ：解决非Java开发人员使用Hadoop平台的语言问题，使各种语言如c++、Python、shell 等均可以无障碍使用Hadoop平台。

• [6]Hase : 基于列式存储模型的分布式数据库。解决某些场景下，需要Hadoop平台数据及时响应的问题。

• [7]Zookeeper : 分布式协同服务。主要解决分布式下数据管理问题：统一命名、状态同步、集群管理、配置同步等。