数据中台

最新推荐文章于 2024-06-20 16:29:16 发布

github_28583061

最新推荐文章于 2024-06-20 16:29:16 发布

阅读量864

点赞数

文章标签：数据仓库大数据人工智能数据分析 java

本文链接：https://blog.csdn.net/github_28583061/article/details/106385667

版权

底座是数据基础平台
- 数据采集平台
- 数据计算平台
- 数据存储平台
中间两大块
- 中台
  - 负责把模型组织成可以对外服务的数据：数据指标，数据标签
- 公共数据区
  - 数据仓库（数据湖），负责公共数据模型研发，统一指标（标签）平台
上层是数据应用服务层
- 将公共数据区的数据对外包装并提供服务：
  - 数据接口平台
  - 多维查询平台
  - 数据可视化平台
  - 数据分析平台
垂直贯穿平台：
- 数据开发平台：数据接入，数据导出，模型设计工具，脚本开发工具，数据调度工具
- 数据管理平台：元数据管理，数据质量管理，数据生命周期管理。

在数据中台的建设中一定不要忽视的是与业务的衔接，因为数据来源于业务并最终应用于业务，在数据中台的建设中需要有一系列的流程制度明确与业务的充分衔接，以保障数据源&数据产出的质量。

数据抽取层
- sqoop 结构化数据，关系型数据库
- flume 非结构化，日志数据
数据存储层
- hadoop 文件系统hdfs
- kafka流数据总线
计算调度层
- 离线计算：hive，spark
- 实施计算：storm,spark-streaming,flink
- 数据调度：airflow, azkaban,Oozie
数据引擎层 -- OLAP
- ROLAP(RelationalOLAP) : 将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批实视图作为表也存储在关系数据库中。
- MOLAP(MultidimensionalOLAP):
数据可视化

图中列出了5个条件判断：

1）是否大型复杂生态系统。如果企业的业态不是大型复杂生态型企业，也许企业信息化系统、ERP就可以解决企业IT治理的问题。何为复杂生态型企业？国内如：BATJ、海尔、华为、小米等都属于这类型企业。

2）是否业务具备不确定性。即市场环境变化快，如互联网行业，以及产业互联网相关行业，都属于这类型行业。

3）是否存在低水平重复建设。先决条件是企业体量够大，不管是自建技术团队还是跟外部第三方公司合作，是否存在重复建设，如整个企业光CRM就有5套，还不是一家公司的产品，就属于重复建设。

4）是否存在数据互联互通问题。即由于事业部制的组织架构，形成了部门墙，数据和系统也是烟囱式的，阿里的业务中台、数据中台解决也是这样的问题。

5）是否信息技术制约企业发展。尽管企业的IT建设一直在持续，但是在当今产业互联网时代、人工智能时代，企业的发展已经受到严重阻碍，也许你该引入中台架构进行变革了。

以上5个条件，任意满足3个及以上，就认为这个企业适合做中台战略升级。

恩门提出的建模方法自顶向下（这里的顶是指数据的来源，在传统数据仓库中，就是各个业务数据库），基于业务中各个实体以及实体之间的关系，构建数据仓库
- 模型设计应该有买家表，商品表，和买家商品交易表三个模型
- 构建成本比较高，适用于应用场景比较固定的业务，比如金融领域，冗余数据少是它的优势
金博尔建模与恩门正好相反，是一种自底向上的模型设计方法，从数据分析的需求出发，拆分维度和事实。那么用户、商品就是维度，库存、用户账户余额是事实。
- 从分析场景出发，适用于变化速度比较快的业务，比如互联网业务

在数据仓库的数据模型设计中，常常会遇到下列情况：

关注