2020-11-10

                                 大数据生态系统  

HDFS（分布式文件系统) : 是指被设计成适合运行在通用硬件上的分布式文件系统，特点：高容错性（指软件检测应用程序所运行的软件或硬件中发生的错误并从错误中恢复的能力）

YARN（一种新的Hadoop资源管理器）是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

MAPRADUCE一种编程模型，用于大规模数据集（大于1TB）的并行运算。
本质 ：一种编程模型 。 特点 ：分布可靠。
Hbase 一个开源的非关系型分布式数据库实现的编程语言为Java。它是Apache软件基金会Hadoop项目的一部分，运行于HDFS文件系统之上。
***Zookeep***一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。特点：高效可靠，ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

Oozie：可以把多个Map/Reduce作业组合到一个逻辑工作单元中，从而完成更大型的任务。

Ambari:一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。

flume （日志收集系统）:Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 特点聚合和传输的系统

sqoop：款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。***作用***数据迁移