大数据架构：数据库、数据湖、数据仓库、数据集市、湖仓一体、数据中台

大数据存储架构：数据库、数据湖、数据仓库、数据集市、湖仓一体、数据中台

1.数据库（Database）：

用途、数据分析：在线事务处理方式（OLTP），强调快速处理。

查询：SQL

主流国产数据库：openGauss、OceanBase、TiDB和KingbaseES

主流开源数据库使用建议：

数据库	简介
MySQL/MariaDB
PostgreSQL	称世界上最先进的、最安全的开源数据库，也是面向对象的关系数据库。
InfluxDB	一个开源的时间序列数据库，能应付极高的写和查询并发数，主要用于存储大规模的时间戳数据
Redis	Redis 是遵循 BSD 开源协议的存储系统，数据存储在内存中，因此具备极高的性能，可用作数据库、缓存和消息中间件。
MongoDB	MongoDB 是排名第一的文档数据库 Neo4j：Neo4j 是一个用 Java 语言开发的图数据库
Elasticsearch	是一个高度可扩展的开源全文搜索和分析引擎，用于存储、搜索和近乎实时地分析大规模数据

2.数据仓库（Data Warehouse）

数据仓库的元素组成：ETL、MetaData、SQL查询处理、数据层、治理和安全（来自：What is a Data Warehouse? | IBM）

用途、数据分析：在线分析处理方式（OLAP），强调复杂查询的响应实践，用于数据挖掘、分析、商业智能项目。

分层（自下而上）：接入层、中间层、应用层。

中间层（自下而上）：DWD数据明显层、DWS数据汇总层、DWM数据集市层。

仓库属于企业级

处理结构化数据，批量处理

仓库一般用于提取、转换、加载（ETL），成本较高

查询：SQL

过去报表发生了什么-分析为什么会发生-将来会发生什么-什么正在发生-让正确的事情发生

作用：实现跨业务条线、跨系统的数据整合，为管理分析和业务决策提供统一的数据支持。

数据仓库从根本上把公司业务数据转为化信息、知识、智慧

仓库系统的构成：分析产品、数据集成、数据存储、数据计算、门户展现、平台管理

可选的数据仓库解决方案：

解决方案	介绍
AmazonRedshift	具有尖端功能的开创性数据仓库
GoogleBigQuery	云端数据分析的革命
MicrosoftAzureSQL	全面的数据仓库解决方案
Oracle	传统且可靠的数据仓库
MySQL	数据库管理的多功能性
Snowflake	现代云数据仓库
PostgreSQL	强大的数据库管理解决方案

3.数据集市（Data Mart）：

用途、数据分析：特定部门的数据分析和决策支持

适用于某个局部范围的人员或系统的决策支撑。相对仓库规模较小，数据来源于数据仓库，企业中可以为每个系统构建独立数据集市，但涉及成本问题。

集市属于部门级

查询：SQL

数据集市通常是数据仓库的子集。

常见的三大数据湖技术Delta、Hudi、Iceberg

4.数据湖（Data Lake）：

用途、数据分析：灵活的数据分析和探索

存储结构化、半结构化、非结构化数据

数据集市一般用于提取、加载、转换（ELT），成本相对较低

系统或存储库中以自然格式存储数据的方法

Hadoop是最常用的部署数据湖的技术，数据湖是一个概念，Hadoop是用于实现这个概念的技术。

实现数据的集中式管理，利用机器学习等进行预测分析、推荐模型

5.湖仓一体（LakeHouse）：

用途：原始数据探索和历史数据分析

存储结构化、半结构化、非结构化数据，既能批量处理，也能实时处理

6.数据中台：

企业信息系统众多、系统管理独立、数据存储分散，从规模和效果上都无法真正体现集团庞大数据资产的价值。

统计分享向预测分析转变，单一领域分析向跨领域分析转变、被动分析向主动分析转变、非实时向实时分析转变、结构化数据向多元化转百年，对数据中台平台诉求强烈。

数据中台是指数据采集交换、共享融合、组织处理、建模分析、管理治理和服务应用与一体的综合性数据能力平台。在数据生态中处于承上启下的概念。

企业级定义：聚合和治理跨域数据，将数据抽象封装成服务，提供给前台以业务价值的逻辑概念。