【大数据】大数据技术栈

Hadoop
Hadoop是一个分布式系统基础架构，核心是 HDFS、YARN、MapReduce 3大组件组成。

• HDFS（Hadoop Distributed File System，即Hadoop分布式文件系统）主要功能是提供海量数据存储
• YARN(资源管理系统) 主要功能是资源管理和程序调度
• MapReduce 主要功能：数据划分和计算任务调度、数据/代码互定位

Hive
Hive是基于Hadoop的数仓分析系统，可以将SQL语句转换为MapReduce任务运行，不适合用于联机事务处理，也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业

Spark
Spark 基于Hadoop MapReduce开发的大数据计算引擎，构建大型、低延迟数据分析应用程序

Hbase
Hbase 分布式数据库 Hadoop的子项目 特点 适合于非结构化数据存储 基于列的而不是基于行的模式

Kafka
Kafka 分布式发布订阅消息系统 主要能力：消息队列、流式处理

分类

大数据术语
DW 数据仓库

 

数据仓库包含：

ODS层 （Operational Data Store） 原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理。
DWM层（data warehourse middle）数据中间层，在DWD层的数据基础上，对数据做轻度的聚合操作，生成一系列的中间表
DWD层 （Data Warehouse Detail）明细数据层， 结构和粒度与原始表保持一致，对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）。
DWS层（Data Warehouse service） 服务数据层，以DWD为基础，进行轻度汇总。 在这层通常会有以某一个维度为线索，组成跨主题的宽表。
ADS层 (application data service)数据应用层，为各种统计报表提供数据。