![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据治理
文章平均质量分 90
数据治理
浊酒南街
纵使疾风起,人生不言弃。
展开
-
数据治理系列7:企业数据治理的七把利剑
目录前言:一、竞星剑:数据模型管理二、游龙剑:元数据管理三、日月剑:数据质量管理四、天瀑剑:数据标准管理五、青干剑:主数据管理六、莫问剑:数据安全管理七、舍神剑:数据服务平台八、传说中七剑合璧就能召唤神龙九、写在最后前言:正所谓:“工欲善其事,必先利其器!”,一套好的数据治理工具,能让企业的数据治理工作事半功倍。数据治理本质是盘点数据资产、治理数据质量,实施数据全生命周期的管理,根据不同的项目特点,会用到不同的技术或工具,一般来说,数据治理产品或工具主要包含以下组件:数据模型管理、元数据管理、数据质量转载 2021-11-17 21:43:18 · 472 阅读 · 0 评论 -
数据治理:元数据管理 、数据血缘(补充学习)
目录一、什么是元数据管理?二、元数据管理价值:字段血缘分析的意义Change to true to enable this input configuration.Paths that should be crawled and fetched. Glob based paths.Glob pattern for configuration loadingSet to true to enable config reloadingPeriod on which files under path should转载 2021-11-18 20:13:29 · 7031 阅读 · 0 评论 -
主数据管理理论与实践
在数据管理领域,对于主数据的概念和定义有不同的解释和说明。参照标准和规范定义,本文采用国际数据管理协会DAMA在《DAMA数据管理知识体系指南》一书中对主数据的定义进行说明。主数据是关于业务实体的数据,这些实体为业务交易提供关联环境。业务规则通常规定了主数据格式和允许的取值范围,一般组织的主数据包括当事人、产品、财务结构和位置等。主数据是关于关键业务实体权威的、最准确的数据,可用于建立交易数据的关联环境。主数据值被认为是“黄金”数据,主数据相对交易数据而言,属性相对稳定,准确度要求更高,唯一识别。相比于原创 2022-07-06 00:30:47 · 441 阅读 · 0 评论 -
数据治理系列5:浅谈数据质量管理
目录一、数据质量问题盘点二、数据质量问题根因分析三、数据质量管理的方法论四、总结题外话:看过之前的文章的小伙伴不难发现,文章开篇几乎都是定义、概念,这已成了笔者写文章的一个习惯。本着对专业知识和技术的敬畏以及对文章主题的聚焦,笔者认为文章的开篇是非常有必要先把概念或定义交待清楚的。另外,写公号、写博客目的是对自己临散的知识有一个系统化的总结,并希望与业内的各路大神沟通交流,从而在总结和交流中提升自己。所以,欢迎您的点赞和拍砖!“数据质量管理是对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的转载 2021-11-16 22:41:58 · 455 阅读 · 0 评论 -
数据质量(DQ)的建设方法论!离线实时通用
按照国际数据管理协会的《数据管理知识手册》中规定,数据质量(DQ)是“既指与数据有关的特征,也指用于衡量或改进数据质量的过程。”但要深入理解数据质量,需要切分不同层次或维度。如果从用户层级定义数据质量,就是满足特定用户预期需要的一种程度。如果从数据本身定义数据质量,即从数据质量的指示器和参数指标等方面来衡量其优劣。如果从数据约束关系定义数据质量,即从数据的原子性、数据的关联性及对数据的约束规则来度量数据质量。如果从数据过程定义数据质量,需要从数据能被正确使用、存储、传输等方面定义质量。第一步,确定需要做数据原创 2022-06-14 22:17:39 · 925 阅读 · 0 评论 -
数据治理:数据质量管理办法
本标准规定了XX公司数据质量管理内容、管理机制和工作流程。本标准适用于XX所有项目整个生命周期的数据质量管理,非项目可参照使用。下列术语和定义适用于本文件数据质量data quality客观反映业务数据固有特性的程度。注:“固有的” (其反义是“赋予的”)就是指在某事或某物中本来就有的,尤其是永久的特性。数据质量管理 data quality management对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、监控、预警、处理等一系列管理活动,原创 2022-06-14 22:31:10 · 3699 阅读 · 1 评论 -
数据质量保障建设实践
严选的数据产品,是依托于严选电商业务链路,通过离线和实时两种数据处理方式提供分析型数据,并最终希望实现数据驱动业务发展。先来看下严选的数据产品的架构层级图:从层级图可以看出,数据产品应用是最上层的数据表现层。从数据产品层级图,我们可以对比下,数据产品测试跟应用测试的流程区别到底在哪儿:非数据产品的测试流程一般是:数据产品的测试流程则为:从以上链路可以看出,数据产品的测试链路更长,复杂度也多了一块数据链路的测试。根据目前现状,严选数据产品测试存在的一些明显的痛点:数据质量保障的测试不管从业务原创 2022-07-13 23:20:32 · 304 阅读 · 0 评论 -
数据治理系列3:数据标准管理
目录导读:数据标准是什么?企业数据标准管理的内容企业数据标准的梳理数据标准设计流程数据标准管理价值总结:数据标准与主数据、元数据、数据质量的关系导读:提到“标准”二字,我们第一时间能够想到的就是一系列的标准化文档,例如:产品设计标准、生产标准、质量检验标准、库房管理标准、安全环保标准、物流配送标准等,这些标准有国际标准、国家标准、行业标准、企业标准等。而我们所说的数据标准却不单单是指与数据相关的标准文件,数据标准是一个从业务、技术、管理三方面达成一致的规范化体系。数据标准是什么?数据标准化是指研究、转载 2021-11-15 22:04:19 · 717 阅读 · 0 评论 -
数据治理系列8:数据价值管理
目录1、你的数据是锦上添花,还是雪中送炭?2、什么是数据价值?3、影响数据价值的因素4、数据价值评估的方法5、写在最后的话小的时候父母、老师就总教育我们:做人要做有价值的人,做事要做有意义的事。但是,什么才算是有价值和意义的呢?就如现在我写文章,写文章是有价值的吗?如果文章没有干货,对自己没有提升,对读者没有启发,那就没有任何意义。于是,我给“谈数据”定位,我的每一篇文章不追求多高的阅读量,只希望能够对读者或多或少有所收获。也许哗众取宠、吸人眼球的文章更受大众欢迎,但是我更看重文章本身对于读者的价值转载 2021-11-17 21:58:16 · 710 阅读 · 0 评论 -
详解数据治理知识体系
本文从数据治理的误区、元数据管理、数据质量管理、数据标准管理等4个方面整理出数据治理的一套经验总结,给予数据治理相关工作的同仁们一些借鉴参考。大数据时代,数据成为社会和组织的宝贵资产,像工业时代的石油和电力一样驱动万物,然而如果石油的杂质太多,电流的电压不稳,数据的价值岂不是大打折扣,甚至根本不可用,不敢用,因此,数据治理是大数据时代我们用好海量数据的必然选择。但大家都知道,数据治理是一项长期而繁杂的工作,可以说是大数据领域中的脏活累活,很多时候数据治理厂商做了很多工作,但客户却认为没有看到什么成果。大部原创 2022-06-27 21:58:09 · 704 阅读 · 0 评论 -
如何精准识别主数据?
MBOK里的定义是这样婶儿的:主数据是有关业务实体(如雇员、客户、产品、金融结构、资产和 位置等)的数据,这些实体为业务交易和分析提供了语境信息。实体是客观世界的对象(人、组织、地方或事物等)。实体被实体、实例以数据/记录的方式表示。发现没有?主数据和实体有关系哟~~~所以主数据其实跟模型关系是很紧密的。其实理解主数据很简单,简单来说,就是核心业务中,非数值的关键数据。这个理解不精准,但是容易理解。不过这哥们的问题,显然不是这篇文章能解决的,因为他肯定是在进行主数据识别的时候遇到模棱两可的内容,无法进原创 2022-07-05 23:52:53 · 1330 阅读 · 0 评论 -
数据治理:如何提高企业数据质量?
数据质量的高低代表了该数据满足数据消费者期望的程度,这种程度基于他们对数据的使用预期。数据质量必须是可测量的,把测量的结果转化为可以理解的和可重复的数字,使我们能够在不同对象之间和跨越不同时间进行比较。 数据质量管理是通过计划、实施和控制活动,运用质量管理技术度量、评估、改进和保证数据的恰当使用。1、准确性:数据不正确或描述对象过期2、合规性:数据是否以非标准格式存储3、完备性:数据不存在4、及时性:关键数据是否能够及时传递到目标位置5、一致性:数据冲突6、重复性:记录了重复数据数据质量分析的主要原创 2022-06-09 00:20:37 · 351 阅读 · 1 评论 -
数据治理的10个实践
目录1、找症状,明确目标2、理数据,现状分析3、数据治理成熟度评估4、数据质量问题根因分析5、业务影响及实施优先级评估6、制定数据治理行动路线和计划7、制定数据治理详细实施方案8、数据治理实施过程控制9、监控评估数据治理实施效果10、数据治理持续改进1、找症状,明确目标任何企业实施数据治理都不是为了治理数据而治理数据,其背后都是管理和业务目标的驱动。企业中普遍存在的数据质量问题有:数据不一致、数据重复、数据不准确、数据不完整、数据关系混乱、数据不及时等。由于这些数据问题的存在对业务的开展和业务部门之转载 2021-11-19 22:31:59 · 1462 阅读 · 0 评论 -
数据治理系列2:元数据管理—企业数据治理的基础
目录导读:认识元数据元数据的分类元数据管理成熟度元数据管理价值导读:元数据管理是对企业涉及的业务元数据、技术元数据、管理元数据进行盘点、集成和管理,按照科学、有效的机制对元数据进行管理,并面向开发人员、最终用户提供元数据服务,以满足用户的业务需求,对企业业务系统和数据分析平台的开发、维护过程提供支持。元数据管理是企业数据治理的基础。认识元数据元数据(Metadata),元数据是关于数据的组织、数据域及其关系的信息,简言之,元数据就是描述数据的数据。这么说对于没有技术背景的人来说还是比较抽象的,我给大转载 2021-11-13 11:32:08 · 517 阅读 · 0 评论 -
《数据资产管理实践白皮书4.0》
目录为了深入落实国家大数据战略,推动大数据产业交流与合作,展示我国大数据产业最新发展成果,6月4-5日,由中国信息通信研究院、中国通信标准化协会主办的2019大数据产业峰会在北京国际会议中心召开。会上,中国信通院大数据团队发布了《数据资产管理实践白皮书(4.0版)》,中国信通院云计算与大数据研究所工程师李雨霏对白皮书进行了解读。她表示数据资产管理将会通过盘点数据资产,提升数据质量,打破数据孤岛,提高获取效率,保障数据安全,最终形成持续的闭环,而实现数据可得、可用、好用,为企业数字化转型大下基础。本白皮转载 2021-11-19 22:20:59 · 871 阅读 · 0 评论 -
数据治理系列4:主数据管理实施四部曲概论
目录导读:一、摸家底二、建体系三、接数据四、抓运营导读:我们知道主数据项目的建设是一个循序渐进、持续优化的过程,不可一蹴而就。个人认为主数据管理项目从咨询规划到落地实施再到初步见效需要经历四个阶段,而每个阶段都是必经阶段,每个阶段均可独立成章,所以这里是四部曲,不是四步曲。主数据项目建设从方法上,分为以下四部,简单归结为12个字:“摸家底、建体系、接数据、抓运营”!一、摸家底摸家底需要全面调研和了解企业的数据管理现状,以便做出客观切实的数据管理评估!1、数据资源普查数据资源普查的方法常用的转载 2021-11-15 22:25:09 · 406 阅读 · 0 评论 -
数据治理五步法:管、存、算、规、治
据研究表明,在数据分析的整个过程中,数据准备会占大约80%的时间。怎样把数据收集起来,并确保数据可直接用于分析展示,是最麻烦、最耗时的事情,这在企业级的数据分析中也被称为是“最脏最累”的活。倘若数据未处理妥当,炫酷好看的可视化展示也毫无意义。如果你参与过大型企业BI系统的建设,那就一定能有所感触。无数的决策分析系统成为临时的“政绩工程”,一时名声大噪之后却无人问津,大多因为后续数据不准确,无法真正为业务、管理提供实质的服务。这实则为数据分析项目建设的悲哀。原创 2022-10-09 22:51:10 · 1616 阅读 · 0 评论 -
主数据管理(MDM)的成熟度
企业主数据是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、物料单、账户等;它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,并且存在于多个异构的应用系统中。企业主数据可以包括很多方面,除了常见的客户主数据之外,不同行业的客户还可能拥有其他各种类型的主数据,例如:对于电信行业客户而言,电信运营商提供的各种服务可以形成其产品主数据;对于航空业客户而言,航线、航班是其企业主数据的一种。对于某一个企业的不同业务部门,其主数据也不同,例如市场销售部门关 心客户信息,产品研发部门关原创 2022-07-05 23:36:37 · 1140 阅读 · 0 评论 -
数据治理系列6:数据安全治理之道
目录一、初识信息安全二、什么是数据安全治理?三、数据安全治理,治什么?四、数据安全治理流程五、数据安全治理的技术手段六、数据安全VS工作效率以此文致敬当年一起奋斗过的兄弟,和一路走来陪伴我们成长的所有客户!一、初识信息安全说到数据安全,不由得想起那些年做军工企业项目时的一些人和一些事。那是10年前——2009年的春天,我司接了一个军工企业的大单,我受命去做实施要常驻项目现场。记得上班第一天,客户就给我们项目团队集体进行了安全保密的培训,我还清楚记得:“不该看的不要看、不该问的不要问、不该说的不要说,转载 2021-11-16 22:54:30 · 642 阅读 · 0 评论 -
数据治理系列1:数据治理框架【解读分析】
目录一、什么是数据治理?二、为什么需要数据治理?三、DMBOK的数据治理框架四、数据治理框架的理解和解读五、数据治理框架总结一、什么是数据治理?维基百科:数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式,将价值回馈于业务,并最终体现为增加收入和利润。笔者认为:所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。数据治理的目的就是通过有效的数据资源控制手段,进行数据的控制,以提升数据质量进而提升数据变现的能力。转载 2021-11-12 22:46:04 · 641 阅读 · 0 评论 -
浅谈企业数据分类分级治理
目录前言:一、什么是数据分类分级?二、数据分类分级相关标准三、企业为什么要做数据分类分级?四、企业做数据分类分级的难点在哪?五、企业应如何应对数据分类分级面临的层层阻碍?六、小结前言:近日,工信部再次公开征求对《工业和信息领域数据安全管理办法(试行)》的意见。本次公开征集意见的文稿相较于2021年公开征集意见的版本有较多变动,在第二章中明确了开展数据分类分级保护的多项具体要求[1]。预示着工信部今年将大力落实工业和信息化领域的数据分类分级治理。一、什么是数据分类分级?数据分类分级是我国近年来数据安全转载 2022-03-31 23:33:26 · 2027 阅读 · 0 评论 -
数据质量治理与数据质量评价体系(术)
数据质量管理是指在数据创建、加工、使用和迁移等过程中,通过开展数据质量定义、过程控制、监测、问题分析和整改、评估与考核等一系列管理活动,提高数据质量以满足业务要求。可按照“谁创建、谁负责;谁加工、谁负责;谁提供、谁负责”的原则界定数据质量管理责任,由数据流转环节的各责任方对管辖范围内的数据质量负责。对数据质量规则优先采取系统程序的自动化控制措施,并尽可能前移管控点,从源头上控制数据质量。在日常工作中,业务领导经常会通过报表看板等数据产品来了解各项业务的发展趋势以及KPI的达成情况。倘若某天,他打开某张核心报原创 2022-06-15 23:23:39 · 1983 阅读 · 0 评论