来源:一个数据人的自留地 作者:@奈文摩尔
兜兜转转,眨眼间4个月过去了,数据集成系统和数据开发系统如期正常上线了,突然被告知,我不用打“大数据能力平台”这个副本了,此刻的心情是复杂的。虽然起初不是很想做这个,但是当做了一段时间后我觉得还不错,突然又不让做了,着实有点不舒服,当然这些都不重要了。不过虽然官方副本不让打了,自己可以尝试把整个副本的攻略搞完。
接下来开始第三个副本“数据资产管理系统”,刚听到这个系统名字的时候,还是蛮有信心的,因为四年前曾从0到1做过一个资产管理系统,但是深入了解之后发现资产管理和数据资产管理虽然只有两字之差,但是做的事情却是千差万别,接下来一起聊聊“数据资产管理系统” 吧!
01
数据资产
1.1 什么是数据资产
2020 年 4 月 9 日,中共中央、国务院印发《关于构建更加完善的要素市场化配置体制机制的意见》,文中将数据定义为一种新型生产要素,与土地、劳动力、资本、技术要素并列,共五大生产要素。近年来随着科技的飞速发展,人工智能、云计算、大数据等技术快速更新迭代,数据呈现爆发式增长,从而进一步成为了构建现代社会必不可少的要素。
伴随着大数据时代的悄然来临,数据的价值已被广泛认同,大家对数据的重视提到了前所未有的高度,数据即资产,已然成为最核心的思维方式。
数据资产是指由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。在企业中,并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源。比如,大家平时网购,生成的每一条订单信息就是数据资产。
1.2 数据资产的价值在当下,越来越多的企业开始借助大数据来进行管理和决策。通过大数据分析和挖掘,企业明确钱该花在哪里,哪些地方应该多花,哪些地方应该少花,目标客户在哪里;企业利用数据刻画出丰富的客户资料,然后借助运营手段来取得竞争优势。通过对结果数据和过程性数据的跟踪和分析,降低成本,控制风险,为一线用户提供更好的产品和服务。
随着社会的发展,企业对数据的需求会不断增长,企业对数据的依赖性也会不断增强,人们可以越来越清楚地评估数据资产的价值。
02
数据资产管理
2.1 什么是数据资产管理
“数据资产管理”一词,在国内首次由DAMS(中国数据资产管理峰会)组委会正式提出。中国数据资产管理峰会对数据资产管理的定义为是对数据管理、数据治理及数据资产化的管理过程。
中国信通院发布的《数据资产管理实践白皮书》中对数据资产管理的定义是:数据资产管理(DAM,Data Asset Management)是指规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。数据资产管理是需要充分融合业务、技术和管理,来确保数据资产保值增值。
2.2 数据资产为什么需要管理
数据本身价值有限,无法发挥出有效的价值,只有通过一定方式的处理,让数据真正转化为企业的资产,才能是数据发挥出真正的价值。比如教育场景下,随着教育信息化2.0的不断深入,学校出现各种各样的业务系统,作业系统、考试系统、智慧课堂、智慧考勤等等。这些系统在运行过程中产生了大量的业务数据,但是这些数据分散在不同的业务系统中,各系统之间互相隔离,标准不统一,学校也没有时间和精力去梳理到底哪些系统中有哪些数据,不知道有多少数据,更不清楚哪些数据可以使用。这些业务系统的数据没有经过处理转化,仅可以被称作数据,无法真正称作数据资产。
2.3 数据资产管理的痛点
尽管“数据是资产”概念已经广为人知,但“如何管理数据资产”仍然缺少成熟理论以及工具手段。当前存在的问题有:
传统方式低效:
传统数据管理方式无法满足数据资产的管理要求,没有相对完善的平台工具;
数据资源混乱:
数据资源分布散乱,缺少统一规划,难以形成有价值的数据资产;
数据标准缺失:
数据多样化,标准不统一,使得不同系统之间的数据集成较为困难;
缺少元数据管理:
难以发现数据潜在关系,出现质量问题,无法了解数据的来龙去脉。
因此,以解决客户痛点为业务导向,构建数据资产管理系统成为大数据平台建设必不可少的一项工作。
03
教育大数据中数据资产管理系统提供哪些能力
数据资产管理系统基于数据目录盘点数据资源,以统一数据标准为基础,规范元数据管理。围绕数据资源管理、数据标准管理、元数据管理等核心功能,实现“盘点数据资源,规范数据资产,发挥数据价值”的数据管理目标,为各级教育部门提供一站式数据管理。
数据资产管理的总体目标是厘清数据资产,通过构建数据资产管理支撑架构,规范数据的生成和使用,持续改进数据质量,强化数据管理体系建设,为企业或组织提供高价值的数据服务于数据应用支撑能力。通俗来说就是把分布在各系统中的数据资源转化为数据资产而不是数据垃圾。为了实现这一目的我们的需要做:
(1)数据资产盘点:统计汇总数据资产管理系统现阶段数据情况,统计维度包括数据源类型统计、数据量统计、分层数据库数据量统计、数据量更改趋势、标准字典统计、元数据量统计等,展示数据仓库中数据脉络信息, 以可视化的方式展示。
(2)数据标准管理:通过提供统一的数据标准管理支撑工具,实现数据标准化的统一管理。
(3)元数据管理:元数据记录了数据从产生到消费的完整链路,通过数据资产管理的方式,管理元模型以及元数据的获取、生成、变更等环节,实现元数据血缘影响关系的自动分析,有效的维护元数据的可管理性。
(4)数据资源管理: 基于数据目录,直观的展示当前汇集的数据资源情况,展示数据仓库中数据脉络信息,为快速盘点当前数据情况,提供可视化的支撑。
04
数据资产管理系统如何做
4.1 产品架构
经过和相关客户进行沟通,以及和公司技术大佬学习,终于搞出来资产管理系统1.0版本的蓝图,见下方:
4.2 功能说明
接下来咱们就一起去看看这每个模块都具体提供什么功能。
4.2.1 数据资产盘点
(1)数据资产概览
数据资产概览提供查看当前数据资产管理系统中全部数据情况,包含资产在个资产目录分布情况、数据仓库建设情况、数据增长趋势等等,帮助教育管理者快速有效的了解数据建设情况,以便于采取管理手段和制定决策时,实现科学管理精准决策。
(2)数据资产查看
数据资产查看支持查看所有数据资产目录下的数据资产情况,用户通过查看数据资产详情了解每一个资产的具体信息,当后续工作中需要数据支持时,可以快速有效进行查询调用。
数据资产查看模块汇总展示数据资产管理系统中全部的数据资产信息,包含但不限于数据表、api、非结构化数据等等。
(3)数据地图
通过元数据刻画出数据仓库脉络,形成数据地图,展示了数据在仓库中的走向。支持用户根据表字段、表名进行全文检索,快速定位,支持用户查看表字段说明、数据变更情况、血缘关系。
通过ETL操作元数据自动构建出元数据之间的血缘影响关系,形成对象、对象属性、任务、作业之间关系信息,为资产人员提供仓库数据来源去向可视化视图,同时为数据溯源提供可行性支撑。
4.2.2 数据标准管理
(1)数据元管理
数据元管理为客户提供元数据新增、编辑、维护的功能,用于业务方标准化管理本业务相关的字段,用于后期数据的统一管理。包含定义数据元名称、标识、长度、类型、值域等相关信息,为对象定义时提供最小的数据单元信息。
换一种说法,我们也可以称数据元为字段标准,就是大家常见的表字段,比如用户id在多个表出现,此时各业务系统之间开发人员根据自己的编写习惯来定义用户id,可能有的叫uid,有的叫user_id,有的叫userid,为了提高数据的一致性,我们对这些代表相同业务定义的字段进行统一管理,制定标准来为后续的数据建模提供支持。
(2)标准字典管理
本模块支持用户对标准字典进行管理,支持用户编辑已有的标准字典信息,同时支持在各类标准字典分类下新增标准字典表及字典项,扩充标准字典库,用于后期对业务数据的标准化管理。数据标准包括不限于国标、部标、行标等。
标准字典类似于我们表中常见的一些可枚举维度字段,比如年级、学科等等,我们也时常把它们称作枚举值。年级作为数据元会出现在多张表中,当用户想要了解年级都有哪些值时,需要找相关人员进行了解,而且大多数我们的开发喜欢对这些字段给与code编码,比如1~9对应一年级~九年级。当我们看到年级字段的值是1时,如果不知道这个映射关系,就很难对数据做出有效分析得出想要的结论。因此通过标准字典管理,对这些可枚举标准进行统一管理。通过标准字典用户可快速了解字段的枚举值,以便与进行后续分析。
(3)业务术语管理
业务术语管理模块支持用户对业务术语进行新增、修改、查看、删除的操作。通过业务术语管理将业务中一些常见的术语进行统一管理,并且让业务所涉及的各干系人能够在工作中达成理解的一致,保证沟通顺畅。
4.2.3 元数据管理
(1)元数据查询
支持按关键字的全文搜索,通过元数据查询功能可以准确定位元数据。
(2)元模型管理
基于元数据管理工具构建符合CWM规范的元数据仓库,实现元模型统一、集中化管理,支持新增、修改等功能。
(3)元数据管理
本模块主要是在数据源下依托元模型进行元数据管理,支持对元数据进行新增、修改、删除等操作;包括表、视图、索引、字段、列族、消息、ETL等各类元模型下元数据。同时自动分析出元数据之间的血缘影响关系,为数据地图提供数据支撑。
(4)元数据分析
元数据分析支持按数据源查看已注册的所有元数据以及元数据的血缘影响关系。
血缘分析:
也叫血统分析,采用向上追溯的方式查找数据来源于哪里,经过了哪些加工和处理。
常用于在发现数据问题时,快速定位和找到数据问题的原因。
影响分析:功能与血缘分析类似,只是血缘分析是向上追溯,而影响分析是向下追踪,用来查询和定位数据去了哪里。常用于当元数据发生变更时,分析和评估变更对下游业务的影响。
4.2.4 数据资产目录
(1)目录分类管理
目录分类管理主要支持对数据资产目录分类进行管理,将数据目录按多层次分类配置形成树状结构,用于分类展示数据资源,实现数据资源的快速检索。
(2)数据目录编制
本模块主要支持数据目录的编制功能,支持对现有数据表和元数据绑定目录关系;数据目录内属性信息来自现有的元数据,将元数据进行分类管理。
05
数据资产管理系统如何发挥价值
5.1 数据资产价值如何提升
数据资产管理系统主要是为了对数据资产进行更好的管理,以便于提升数据资产的质量,不断发挥出数据资产的价值。
对于企业来讲数据资产价值最好的体现就是商业变现,所以企业需要不断去提升数据质量和降低数据成本。通过数据资产管理系统,采取有效的管理手段提升数据质量,降低数据成本来提升数据资产的价值。
5.2 教育场景下数据资产价值
对于教育部门和学校来说,数据资产价值最好的体现是通过数据资产实现精准决策和科学化管理,所以面向教育,数据资产管理系统更加偏向后续的数据服务。通过数据集成系统、数据安全系统、数据质量系统,提升数据覆盖度,确保数据准确性和完整性,加快数据时效,从而实现数据资产价值的提升。以此来推动教育大数据的不断发展。
5.3 教育大数据案例
(1)办学条件分析
目前全国很多地方都出台了办学标准来对学校的办公条件进行评定,但是由于数据存储在不同的系统中,而且有很多数据无法由系统直接获取,导致评定事宜推行起来进度缓慢。
通过数据资产管理系统,我们能够将学校各个维度的数据采集统计起来,根据办学条件要求,统计出区域管辖范围内各学校指标。
通过构建学前/中小学办学条件模型,辅助教育主管部门发现区域学校共性薄弱项,指导学校达标建设方向。
通过构建学校发展情况画像,辅助区域及校级管理者发现学前/中小学的薄弱情况,精细化诊断,精确指导具体学校建设及师资建设工作。
(2)招生压力分析
随着科技的不断进步,各城市发展突飞猛进,在这个过程中学校招生问题变得尤为重要,人口不断的流入流出,需要对当前的学位情况进校有效的预测,以便于在新学年到来之前可以提前规划好学区的建设。
基于这种情况,我们采集包括教育事业统计、学区信息、不动产权信息等数据资产,帮助区域管理者合理划分、调整学区,安排学校分布和建设规模规划,帮助学校管理者确定招生人数、调整学校资源。
(3)大数据精准教学
通过伴随式采集,将学生日常的作业数据、测验数据、课堂数据以及一些日常学习行为数据汇聚到一起。通过大数据技术对学生的学习情况进行分析,基于各学科知识点数,生成学生个性化知识图谱,帮助学生发现问题,并及时提供“个性化”学习所需的资源、信息和服务。
比如,通过学生各种作答数据的汇聚和题目关联知识点的情况,得出学生在整个学科知识树中知识点的掌握情况,同时根据知识点和资源的关联情况,给学生推荐适合当前阶段学习的资源,在资源学习结束之后,再次推荐相关知识点关联题目情况,从而达到“哪里不会学哪里”的效果。
(4)师资力量分析
通过对学校信息化系统中各类数据的采集,对学校整体师资力量进行分析,并通过可视化方式直观的呈现给教育管理者,帮助他们及时获取下辖学校师资情况,以便于后续教师资源的分配。
比如,一个学校校长每次去区里汇报工作都诉苦说自己学校教师少,教师资源差,这时候作为上级领导应该怎么办。如果没有有效数据做支撑,管理者可能会感觉无从下手。通过师资力量分析,管理者可以快速了解到学校的生师比信息,以此来判断学校的教师人力问题,通过专任教师资质分布,可快速了解学校一级教师、二级教师的数量,依次来判断学校的教师资源水平。当校长再次过来诉苦时,管理者可依靠数据说话,以此来回答校长的问题,从而实现教育的科学管理。
教育场景下,数据资产可发挥价值的地方数不胜数,千言万语一张图形容下教育大数据下数据资产如何发挥它的价值。