一.表格结构数据特征
类别:
结构化数据 :交易记录 财务数据 (企业系统中)
非结构化数据:网站图片,社交记录,视频(企业外部)
表格结构化数据:excel,number----------单元格为最基本
表结构化数据:数据库,ETL工具,数据可视化工具-------------字段为基础
表格结构的数据类型
数值型:数值中整数值以及小数值的信息,主要用 于计算。
文本型:文本值包含文字,符号,数字等关键信息,主要对文本内容进行描述
逻辑型:逻辑值只包含两种真值(TRUE)与假值(FALSE)主要进行逻辑判断。
二.表结构数据特征
描述
表结构通常指的是数据库中表的结构,它是一个包含字段、数据类型、主键、外键和索引等信息的描述,是用来描述表的结构和关系的。它通常用于数据库的设计和管理,可以帮助数据库管理员和开发人员更好地管理数据,并进行数据查询和更新等操作。
主键
单字段主键:由一个字段构成的主键。
多字段主键:由多个字段构成的主键。
主键为非空不重复
定位记录行字段名+主键值定位具体数值
主键多以 ID NO 编号命名
字段:整列数
记录:整行数
维度:业务角度
记录:业务行为结果
维度字段:文本型
度量字段:数值型
维度与度量
维度:描述数据的观测角度
度量:描述交易中产生的结果
维度表:维度信息表(只包含维度信息)
事实表:事实信息表(既包含维度也包含信息)
三 表结构数据的获取
1表结构数据是引用数据源的数据结构
关系型数据库管理系统主要任务是企业业务数据的存储,检索,访问,共享
特点:多层级结构,OLTP,可量化,结构化数据,提供大部份数据源,不善于分析
层次结构
RDNMS:关系型数据库管理系统
DB:数据库
Table:表
2.商业智能bi
BI主要用于企业的决策者快速提供完整准确深入的数据分析结构,帮助企业决策者商业洞察
特点
强于分析,所见即所得,两种数据类型,多维数据集,多功能模块构成
3.ETL
ETL是数据仓库中的一个重要概念,它是指数据的抽取(Extraction)、转换(Transform)、加载(Load)的过程。ETL将来自不同数据源的数据转换成目标格式,并将其加载到数据仓库中以进行分析、报告和挖掘。
在实现ETL过程中,一般会先进行数据抽取,即从原始数据源中提取数据,并进行初步处理,例如数据清洗、去重、筛选等。然后进行数据转换,即对提取的数据进行必要的转换和合并,例如数据结构、数据格式、单位换算等。最后进行数据加载,即将转换后的数据加载到数据仓库中,并进行数据质量的检验和调整。
ETL可以帮助数据分析师将来自不同来源的数据整合在一起,并将其转换成合适的结构,以进行进一步的分析和挖掘。ETL可以帮助数据分析师解决数据集成、数据清洗、数据转换等数据管理中的一系列问题,并节省数据处理的时间和成本。
总之,ETL是数据仓库中的一个重要概念,用于将来自不同数据源的数据提取、转换和加载到数据仓库中并进行分析和挖掘。了解ETL的原理和应用场景可以帮助数据分析师更好地进行数据管理和处理,并提高工作效率和质量。
4.数据仓库DW
数据仓库(Data Warehouse,DW)是指为企业决策提供有效支持的一种数据存储方式。数据仓库主要用来存储和管理大量历史性、结构化和半结构化的数据,提供全面和易于查询的数据分析功能来支持企业的决策。
数据仓库的设计和实现是一个复杂的过程,需要考虑多个因素,例如数据结构、数据源、数据清洗、数据抽取等。通常,数据仓库会对不同功能进行划分,包括数据存储、数据访问 API、数据查询和处理等。
5.OLAP数据链接
OLAP(联机分析处理)是一种多维分析技术,它将事实表和维度表数据组织成多维数据结构,以支持复杂的数据分析和报表需求。在OLAP中,数据链接是非常重要的一环,通过数据链接,可以将来自多个数据源和不同维度的数据进行整合,以进行更加全面和深入的数据分析。
通常,OLAP数据链接可以采用多种方式实现,主要包括以下几种:
1.内部链接:将来自同一数据源的数据进行链接,例如同一数据库中的不同表。
2.外部链接:将来自不同数据源的数据进行链接,例如在数据仓库中将来自ERP、CRM和POS系统的数据进行整合。
3.自然链接:通过相同的列进行匹配,将数据进行链接,例如根据日期列将销售数据和运营数据进行链接。
4.显式链接:通过在数据表中添加键值进行链接,例如在维度表和事实表中添加相同的维度键值进行链接。
OLAP数据链接可以帮助数据分析师将不同来源和不同维度的数据进行整合,以进行全面和深入的数据分析。通过OLAP数据链接,可以帮助数据分析师更好地理解业务和分析需求,从而提高分析效率和质量。