数据资产入表
文章平均质量分 80
数据要素乱弹
可提供数据治理服务和数据入表咨询一位在数据圈里摸爬滚打了7年的女战士
可以关注B站「数据要素乱弹」看视频版
展开
-
数据建模标准-基于事实建模
1.通信网络设计:在设计新的通信网络时,FCO-IM方法可以帮助工程师全面考虑网络的结构、容量、覆盖范围以及服务质量等因素,从而设计出既高效又可靠的通信网络,例如,在5G网络的规划和部署中,FCO-IM方法可以用于模拟和优化网络的性能,确保网络能够满足高速数据传输和低延迟通信的需求。5.异常检测与管理:在通信系统的异常检测和管理中,FCO-IM方法可以用于分析通信数据,识别异常行为和潜在的安全威胁,例如,在网络安全管理中,FCO-IM方法可以用于监测网络流量,及时发现异常流量模式,从而采取相应的安全措施。原创 2024-08-03 14:06:49 · 435 阅读 · 1 评论 -
数据建模标准-面向对象建模
关联尾端的数字表示该关联另一边的一个实例可以对应的数字端的实例的格数,通过这种方式表达关联的多样性。类图中的类通常对应数据库中的表(Table),类的属性对应表的列(Column),类之间的关系(如关联、依赖、聚合等)可以转换为表之间的关系(如外键约束)。UML类的符号是一个被划分成三块的方框:类名,属性,和操作,抽象类的名字,像Payment是斜体的,类之间的关系是连接线;面向对象建模:是一种软件开发过程中的建模技术,它使用对象和对象之间的关系来表示现实世界中的实体和它们之间的关系。原创 2024-07-19 16:06:19 · 705 阅读 · 0 评论 -
数据建模标准-维度建模
前情提要数据模型定义:DAMA数据治理体系中将数据模型定义为一种文档形式,数据模型是用来将数据需求从业务传递到IT,以及在IT内部从分析师、建模师和架构师到数据库设计人员和开发人员的主要媒介;作用:记录数据需求和建模过程中产生的数据定义;数据建模方法:常见的数据建模方法是关系建模、维度建模、面向对象建模、基于事实建模、基于时间建模和非关系型建模;原创 2024-07-18 15:38:48 · 847 阅读 · 0 评论 -
数据建模标准-关系建模
关系建模定义:是一种通用的数据建模方法,关系建模的基本思想是通过将数据表示为关系模型,提高数据的结构化和可理解性;常见的数据建模方法是关系建模、维度建模、面向对象建模、基于事实建模、基于时间建模和非关系型建模;2.识别实体的主键:客户的主键是客户id,订单的主键时订单id,书的主键是书的id;b.订单的属性包含订单日期、订单金额、订单的采购数、订单总价格;c.书的属性包含标题、作者、ISBN、书的单价、书类型;基于识别出来的实体、关系、属性设计相关的数据模型;1.识别出的实体包含:客户、订单、书。原创 2024-07-17 23:58:45 · 905 阅读 · 0 评论 -
数据质量管理-关联性管理
依据关联关系建设标准进行监测,当前数据关联度可以划分为:实体与实体的关联关系、实体与事件的关联关系、实体与时间的关联关系、实体与地理信息的关联关系、实体与其他属性的关联关系,关联性--数据记录的实体与实体、实体与时间、实体与地理信息等维度之间的关系构建程度;规范性--数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度;数据记录的实体与实体、实体与时间、实体与地理信息等维度之间的关系构建程度;8.关联表实体有效去重记录数:关联表中存储的去重后的有效实体数;原创 2024-07-16 20:35:14 · 532 阅读 · 0 评论 -
数据质量管理-可访问性管理
数据被访问性的量化标准按照定义划分有四个维度,包含数据开放程度、数据被访问的难易程度、数据被访问量、时间周期内数据被访问频率,基于四个维度设置权重,数据开放程度占比60%,数据被访问的难易程度占比20%,数据被访问量占比10%、时间周期内数据被访问频率占比10%1.基于数据分级分类标准梳理出来的数据资源,组织内部的数据分为核心数据、重要数据、一般数据,有些数据高度涉密,对于这类数据会限制访问权限;数据被访问的难易程度:数据被访问的难易程度是指用户对于数据资源访问的难易程度。原创 2024-07-02 18:53:06 · 1034 阅读 · 0 评论 -
数据质量管理-时效性管理
官方定义:数据在时间变化中的正确程度;(时效性的定义可以从外部对比的时效性和内部对比的时效性两个方向来梳理)外部对比的时效性:外部对比的时效性是指从外部数据源获取的数据,数据的更新及时性;内部对比的时效性:内部对比的时效性是指数据在内部数仓流转、自主研发的数据资源的数据更新是否及时;原创 2024-06-29 19:50:00 · 1114 阅读 · 0 评论 -
数据质量管理-一致性管理
且在做一致性指标监测前,先明确数据监测范围,包含表和字段级别(在圈地监测范围之前,需要给出数据监测范围的定义,且不在监测范围的数据内容,在最后算质量总分的时候需要进行赋值);即在数据治理规则执行过程中,内容优先级最高的规则往往是最后执行,确保在表中的记录是优先级最高的内容,而数据监测的方法则是按照优先级最高的内容相关规则开始监测,逐步递推。监测方法:根据数据处理标准中的一致性治理规则所对应的数据开发流程,嵌入数据流程监测预警机制,跟踪任务的运行日志,监测任务成功与否;一致性的监测方法分为三个维度进行;原创 2024-06-26 14:35:59 · 924 阅读 · 0 评论 -
数据质量管理-准确性管理
根据GB/T 36344-2018《信息技术 数据质量评价指标》的标准文档,当前数据质量评价指标框架中包含6评价指标,在实际的数据治理过程中,存在一个关联性指标。通过数据分级分类标准,识别出核心数据和重要数据,基于圈定的数据范围,数据质检人员结合上述数据质量管理依据制定数据准确性校验。也需要“广开言路”,收集用户的数据问题,了解用户在数据使用过程中发现的问题或者存在的疑惑;需要结合数据资产建设手册的“标准参考”、数据使用标准的“数据使用口径”二者结合对真实世界的了解和业务逻辑的理解;原创 2024-06-24 14:37:11 · 659 阅读 · 0 评论 -
数据质量管理-完整性管理
内部对比的完整性通过直接监测数据库中字段内容覆盖的完整度,通过对比目标值和实际值的差异进行计算,此类监测目标可以圈定核心数据和重要数据进行监测,管理性价比更高,效果更显著。注:在设定目标值的过程中,会因为业务人员的业务能力以及对数据的实际把控能力偏差,在目标值设定的过程中会存在差异,此时对于数据的目标值会存在一个调整和监测的周期,例如上述字段b和字段d;数据变动记录的监控,首先需要先存储一张历史周期内的均值表,如表一所示,其次给出每个阶段的赋值分数,如表二所示,最后再计算表的更新情况,如表三所示;原创 2024-06-20 23:57:45 · 1857 阅读 · 0 评论 -
数据质量管理-规范性管理
数据质量管理是一个持续性的管理动作,有些人在做数据质量管理的时候会陷入一步到位的误区,想要通过一个工具、平台,或者一套质检规则就完成整体的数据质量管理,而实际数据质量管理从数据接入的那一刻就需要介入干预,到最后数据在场景中展示,均需要定期质检。“数据质量管理是对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。一致性--数据与其他特定上下文中使用的数据无矛盾的程度;原创 2024-06-19 22:05:42 · 771 阅读 · 0 评论 -
数据资产入表-数据分类分级标准-数据分级
根据数据在经济社会发展中的重要程度,以及一旦遭到泄露、篡改、损毁或者非法获取、非法使用、非法共享,对国家安全、经济运行、社会秩序、公共利益、组织权益、个人权益造成的危害程度,将数据从高到低分为核心数据、重要数据、一般数据三个级别。组织内部对于数据应用场景可能会存在不同的依赖度,存在主数据、特色场景数据、高频使用数据、市场同质情况不多的高价值数据等诸多情况,可以按照数据使用频率、产品竞争力两个维度进行等级划分,区分出核心数据、重要数据、一般数据三个级别;上一讲完成了数据分类的介绍,本讲来到数据分级的介绍。原创 2024-06-18 17:31:40 · 750 阅读 · 0 评论 -
数据资产入表-数据分级分类标准-数据分类
2.盘点组织内部的贴源层(STG)的数据来源,一般数据来源包含外部获取(公共数据授权、爬虫归集、外部采购三类)、系统沉淀的数据等维度,按照不同的数据来源区分数据权属,一般贴源层的数据可拥有的权属为数据持有权和数据加工使用权两类;2021年9月1日,《中华人民共和国数据安全法》正式施行,明确规定“国家建立数据分类分级保护制度”,数据分级分类是数据安全管理的重要措施,它涉及到对数据资产的识别、分类和定级,是保障数据合规的前提。c)业务属性分类:选择合适的业务属性,对关键业务的数据进行细化分类。原创 2024-06-17 21:44:46 · 858 阅读 · 0 评论 -
数据价值管理-数据使用标准
数据使用标准按照面向的读者对象分为两类:一类是以数据资源描述为出发点,面向产品经理、数据分析人员、数据挖掘工程师等角色介绍数据资源的《数据资源使用说明书》;数据资源使用说明书的作用是数据团队面向业务线和营销团队的数据价值传递依据,因此数据资源使用说明书的输出最好配套培训课程,同时数据资源使用说明书的编写也为数据资产盘点和目录输出打下坚实的基础。前情提要:数据价值管理是指通过一系列管理策略和技术手段,帮助企业把庞大的、无序的、低价值的数据资源转变为高价值密度的数据资产的过程,即数据治理和价值变现。原创 2024-06-17 09:43:02 · 502 阅读 · 0 评论 -
数据价值管理-数据验收标准
前情提要:数据价值管理是指通过一系列管理策略和技术手段,帮助企业把庞大的、无序的、低价值的数据资源转变为高价值密度的数据资产的过程,即数据治理和价值变现。B.基于识别出来的重要数据和一般数据,制定不同的数据质量管理策略,例如重要数据的准确性、完整性、一致性等维度的质量目标需要达到99.8%。模型设计和接入血缘标准是定义数据从数据源到数据入到组织内部的转换过程中的标准,需要描述来源数据集、来源字段、来源数据存储颗粒度、写入数据库、写入表、写入字段;数据归集范围标准是描述数据归集数据集的范围,原创 2024-06-12 22:24:29 · 518 阅读 · 0 评论 -
数据合规怎么做?哪些机构可以做数据合规
对拟披露数据资源的应用场景或业务模式合法合规性,用于形成相关数据资源的原始数据的类型、规模、来源、权属等信息,数据资源的加工维护和安全保护情况的合法合规性,数据资源相关数据产品或服务的运营模式合法合规性,重大交易事项中涉及的数据资源对该交易事项的影响及风险分析,数据资源相关权利的失效情况及失效事由、对企业的影响及风险,数据资源转让、许可或应用所涉及的地域限制、领域限制及法律法规限制,及企业认为有必要披露的其他数据资源相关信息进行法律判断。a.企业与相关主体对所收集、处理数据权属的相关约定,原创 2024-06-11 23:14:08 · 1777 阅读 · 0 评论 -
数据资产入表-数据治理-指标建设标准
在业务收集的过程中,需要用户明确的内容包含指标统计的场景描述、统计的时间范围、统计的类型(要当前值、同比值、累计值、环比值)、统计的区域(若业务上没有,可忽略),平常使用的频率,如果是金额维度,需要描述统计的单元;指标的梳理还是离不开实体的确认,实体在指标体系中是指标统计的对象,在指标体系梳理的过程中,在业务的角度上把指标分为原子指标、复合指标、派生指标;④输出指标清单:基于上述的信息收集和梳理,生成版本号、构建指标名称模板、统计单位、计算类型、指标释义、指标计算规则、更新频率等;指定指标计算的频率;原创 2024-06-06 20:09:56 · 914 阅读 · 0 评论 -
数据资产入表-数据治理-标签设计标准
前面我们把明细数据的处理已经做了一个详细的讲解,明细数据经过上述的处理之后,数据质量达到了一定的标准,接下来需要基于场景提取特征进行聚合的环节。原创 2024-06-05 21:08:01 · 1867 阅读 · 1 评论 -
企业数据确权与数据知识产权的讨论
真正可以和应当受知识产权权益保护的还包括那些利用数据智能,在商业竞争中作出智慧决策或智能行动的组织,对源自数据智能而产生的竞争优势,应当给予保护,防止他人不当窃取或不当使用其数据资源或者决策信息。只有在产出形态和价值相对固定的知识产品后,其在社会经济中的应用价值才成为可测量和估值的产品,也只有在这个阶段,才具有寻求在赋权模式下保护数据产品(知识成果)知识产权的可能性。《江苏省数据知识产权登记管理办法(试行)》规定,“依法获取的,经过一定规则或算法加工处理,具有实用价值和智力成果属性的数据”。原创 2024-06-04 22:32:50 · 607 阅读 · 0 评论 -
数据资产入表之数据确权讨论
这个五步法旨在帮助企业系统地处理数据资源的会计确认、计量和报告问题,确保数据资源能够在企业的资产负债表中得到适当的体现,从而更好地反映企业的财务状况和经营成果。【载体为产品或者场景】疑问:一家企业的数据产品中同时使用了内部生产数据和外部获取数据,那么数据资产入表是以最终的数据产品为准还是使用的数据也可以参与入表?:企业应建立数据资源管理体系,包括数据资产体系、数据资源目录、数据资产账户、数据资产血缘分析及数据资源经营等五个方面,为计量和披露提供基础。类型:数据资源持有权、数据加工使用权、数据产品经营权。原创 2024-06-03 23:44:18 · 876 阅读 · 0 评论 -
数据资产入表-数据治理-其他通用规则
通用规则是指在数据治理过程中,经过数据管理和数据规则沉淀形成的可以制定标准开发流程的规则,此类规则的输出对于数仓生产流程提供了更多的便捷性,但也存在一定的风险。原创 2024-05-31 18:01:50 · 328 阅读 · 0 评论 -
数据资产入表「第十二讲」-数据治理(一致性设计)
在数据处理过程中,对于数据一致性的保障是数据质量管控的重要环节。它确保了数据在不同系统、不同时间点之间的一致性和准确性,是决策支持系统不可或缺的一部分。今天,就让我们一起探索数据一致性的重要性,以及如何在日常工作中维护和提升数据质量。原创 2024-05-30 18:36:33 · 621 阅读 · 0 评论 -
数据资产入表「第八讲」-数据治理(数据清洗标准设计)
常见的数据处理标准包含数据清洗标准、数据切分标准、多源数据融合标准、关联关系建设标准、标签建设标准、数据一致性处理标准、指标计算标准、其他通用标准这几大类等一系列数据处理标准。核心数据:在基础清洗规则的基础上,制定深度清洗规则,将数据清洗为高度贴合业务场景的数据,按照不同的业务需求,制定分版本分业务线的清洗规则。前情提要:数据价值管理是指通过一系列管理策略和技术手段,帮助企业把庞大的、无序的、低价值的数据资源转变为高价值密度的数据资产的过程,即数据治理和价值变现。一般数据:仅按照通用清洗规则处理。原创 2024-05-25 21:55:47 · 397 阅读 · 0 评论 -
数据资产入表「第十一讲」-数据治理(数据关联关系标准设计)
本章重点讲解关联关系建设标准关联关系是指数据记录的实体与实体、实体与时间、实体与地理信息等等维度之间的关系,在数据管理、信息检索、知识图谱构建等领域中,对实体之间的关系进行识别和定义,实体关联关系的建设对于提升数据质量、增强信息检索的准确性以及构建知识图谱等都至关重要。原创 2024-05-25 22:16:48 · 699 阅读 · 0 评论 -
数据资产入表「第十讲」-数据治理(数据融合标准设计)
本章重点讲解多源数据融合标准设计多源数据融合标准是指用于指导如何从多个数据源中整合和分析数据,以提高数据的准确性、完整性和可用性的数据处理标准。数据融合的动作是指集成多个数据源以产生比任何单独的数据源更有价值信息的过程。原创 2024-05-25 22:11:56 · 600 阅读 · 0 评论 -
数据资产入表「第九讲」-数据治理(数据切分标准设计)
数据切分是数据库管理中的一种技术,用于将大型数据集分割成更小、更易于管理的部分(这里要和模型训练的数据集切分分开讨论)。从宏观角度可以按照存储管理维度、业务管理维度作为数据切分依据,从微观角度可以按照字段内存储的内容维度切分。原创 2024-05-25 22:01:05 · 578 阅读 · 0 评论 -
数据资产入表「第七讲」-数据治理(数据归集标准设计)
前情提要:数据价值管理是指通过一系列管理策略和技术手段,帮助企业把庞大的、无序的、低价值的数据资源转变为高价值密度的数据资产的过程,即数据治理和价值变现。标准类型(6大类):归集数据的对接标准、数据源的数据标准、数据探查维度标准、数据归集范围标准、模型设计和接入血缘标准、数据入库/湖的处理规则。归集数据的对接标准是指数据归集时的方式描述,包含库表对接、文件对接、接口服务对接、网页爬取对接、物联网系统数据对接。是指数据源供给的数据是否具备合规性,这项标准对于组织后期的数据资产入表有较为明显的影响。原创 2024-05-25 21:48:01 · 645 阅读 · 0 评论 -
数据资产入表「第六讲」-数据治理(数据资产建设标准设计)
数据资产建设标准是数据资产建设的顶层标准设计,其作用是指导组织内部整体的资产建设维度和定义,需要包含的信息包含数据资产分类标准、数据资产建设手册两大维度。原创 2024-05-25 21:37:55 · 341 阅读 · 0 评论 -
数据资产入表「第五讲」-数据治理(业务架构设计)
数据价值管理是指通过一系列管理策略和技术手段,帮助企业把庞大的、无序的、低价值的数据资源转变为高价值密度的数据资产的过程,即数据治理和价值变现。原创 2024-05-25 21:28:55 · 348 阅读 · 0 评论 -
数据资产入表「第四讲」-数据资源梳理
在完成第一步梳理后,接下来需要针对数据表单的业务维度进行评估,这一步是形成数据资源目录清单最重要的一个步骤,也是完成数据盘点的基础。在以上提到的维度外,还可以根据企业自身维度,新增企业特有的盘点维度。原创 2024-05-25 21:18:47 · 904 阅读 · 0 评论 -
数据资产入表「第三讲」-流程介绍续
前情提要:上一讲完成了数据资产评估,提及数据资产评估可以采用成本法、收益法、市场法来评估数据资产价值。基于数据资产评估结果开展数据资产定价策略。原创 2024-05-25 21:11:18 · 999 阅读 · 0 评论 -
数据资产入表「第二讲」-流程梳理
数据资产入表是一个非常复杂的工程,期间会涉及到多个程序和多个部门的协同,确保数据资产的准确评估和合规入表。同时,随着数据资产的价值可能随时间和市场条件变化,企业还需要建立相应的机制来持续评估和更新数据资产的价值。原创 2024-05-25 21:03:38 · 935 阅读 · 0 评论 -
数据资产入表「第一讲」-数据资产入表简介
数据资产入表是指将数据资源确认为企业资产负债表中的“资产”一项,即将数据资产以会计科目和货币化形式呈现,推动企业数据资源向数据资产转变,形成规范的数据资产开发、运营和管理体系,提升企业数据治理能级的过程。这一概念的提出和实施,标志着得到了正式的认可和体现。原创 2024-05-25 20:55:34 · 1049 阅读 · 1 评论