1.ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程)作为BI/DW(Business Intelligence)的核心和灵魂
2.数据管理:数据探查、数据集成、数据质量、元数据管理、数据屏蔽
3.数据仓库:是一个功能概念,将企业的各业务系统产生的基础数据,通过维度建模的方式将业务数据划分为多个主题(集市)统一存储,统一管理。
4.数据湖:
数据湖定位于数据采集、汇聚和存储环节,是公用数据集和分析型应用的源头。狭义数据湖仅是对应“存储”这个环节,广义数据湖则对应“入湖、存储、出湖”三个环节:
- 数据汇聚,接入多源异构数据源,扩展新型大数据和流式数据采集能力,统一监控运行状态。可存储非结构化、半结构化和结构化数据,这也是跟数据仓库存储的区别。
- 数据标注,引入人工智能技术,实现元数据的自动化标注,提升到数据资产管理。
- 数据分发,提供一站式数据服务,从数据发现、准备到提取,实现按需提供、即取即用。
数据湖有以下特点:
- 从源系统导入所有的数据,没有数据流失,即数据湖的核心原则是集中存储原始的、未经改变的全量数据。
- 数据存储时没有经过转换或只是简单的处理。
- 数据转换和定义schema 用于满足分析需求。
5.数据湖与数据仓库的区别
6.数据集市ÿ