数据治理
qihoo233
这个作者很懒,什么都没留下…
展开
-
2020-09-18【学习笔记】【主数据驱动的数据治理】十四、主数据管理应用前景展望
一、主数据管理应用市场发展趋势1、大数据与MDM2、云服务与MDM3、人工智能与MDM4、区块链与MDM二、大数据时代的主数据管理1、大数据的定义和特征2、大数据企业管理新模式3、主数据管理在大数据分析中的作用4、大数据对主数据管理的挑战三、基于云服务的主数据管理1、云服务的定义和发展现状2、主数据管理的云服务模式3、主数据管理云服务平台的技术基础4、云服务对企业主数据管理的影响四、面向人工智能的主数据管理1、人工智能的定义及应用领域2、人原创 2020-09-18 20:24:22 · 245 阅读 · 0 评论 -
2020-09-17【学习笔记】【主数据驱动的数据治理】十三、数据安全管理
一、数据安全的意义和作用1、数据安全的概念2、数据安全的意义和作用二、数据安全的关键内容1、数据存储安全2、数据传输安全3、数据使用安全三、数据隐私保护1、数据隐私保护的意义和作用2、数据隐私保护面临的问题和挑战3、数据隐私保护技术...原创 2020-09-17 22:06:02 · 230 阅读 · 0 评论 -
2020-09-16【学习笔记】【主数据驱动的数据治理】十二、主数据生命周期管理
一、主数据全生命周期管理及意义数据生命周期:数据产生->数据获取->数据应用->数据管理二、主数据生命周期管理内容:1、数据申请2、数据审核3、数据变更4、数据集成和数据分发数据传输方式 数据获取方式 数据集成协议5、数据查询主数据信息统计报表 主数据提报审核统计报表 主数据分发情况统计报表6、数据归档三、数据清洗管理1、数据清洗的内容缺失数据处理 噪声数据处理2、数据清洗的一般过程定义和确定错误类型 搜寻并识别错误的实原创 2020-09-16 23:23:38 · 479 阅读 · 0 评论 -
2020-09-15【学习笔记】【主数据驱动的数据治理】十一、数据质量管理
数据质量管理:是指针对数据从计划、获取、存储、共享、维护、应用、消亡周期的每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平,是的数据质量进一步提高。一、数据质量的定义1、数据质量2、数据质量维度3、数据质量评估4、数据剖析5、数据质量问题和数据管理问题6、合理性检查7、数据质量阈值8、过程控制9、联机数据质量的检测和监控二、数据质量评估框架1、数据质量评估框架的背景2、数据质量评估框架的范.原创 2020-09-15 22:40:05 · 350 阅读 · 0 评论 -
2020-09-14【学习笔记】【主数据驱动的数据治理】十、数据集成(2)
数据集成交换服务1、制定数据集成交换规范和架构2、搭建数据交换平台服务发布管理功能 服务目录功能 服务监控功能 实现数据交换管理3、构建数据服务体系4、形成数据资产全局视图...原创 2020-09-14 19:02:07 · 152 阅读 · 0 评论 -
2020-09-13【学习笔记】【主数据驱动的数据治理】十、数据集成(1)
数据集成:是把不同来源,格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。在企业数据集成领域,已经有了许多成熟的框架可以利用。通常采用联邦式、基于中间件模型等方法来构造集成结构,技术在不同的着重点和应用上解决数据共享,并未企业提供决策支持。数据服务体系:通过实现数据采集、数据整合,数据存储和数据服务,实现底层数据对数据应用的无差别支撑。企业应用集成的总体框架:1、企业应用集成的分类1、面向信息的集成 2、面向过程的集成 3、面向服务的集成2、企业应.原创 2020-09-13 21:37:38 · 450 阅读 · 0 评论 -
2020-09-12【学习笔记】【主数据驱动的数据治理】九、数据架构和模型
数据架构:是对数据管理构成要素的有组织安排,能够优化整个结构或系统的功能、性能、可行性、成本。当结构和系统变得复杂时,人员和组织都可从了解架构中收益。系统越复杂,人们通过了解架构收益越多。数据模型:是数据特征的抽象,是对数据内容以及数据实体和属性之间关系的一个可视化表示,可帮助理解数据如何被组织或结构化创建。数据结构、数据操作、数据的完整性约束是其要素。企业数据架构:数据架构设计1、逻辑模型设计2、物理模型设计3、数据生命周期策略设计4、数据质量设计5、数据分布设计.原创 2020-09-12 23:12:34 · 242 阅读 · 0 评论 -
2020-09-11【学习笔记】【主数据驱动的数据治理】八、典型主数据管理产品及实施案例
主数据管理系统模式分类1、基于ETL工具的主数据应用(ODI、PowerCenter)2、基于SOA(面向服务的体系架构)的主数据管理平台典型产品:1、SunwayWorld的主数据全生命周期管理平台(北京三维天地)2、SAP的MDM解决方案(MDG)3、IBM的MDM解决方案(IBMInfoSphere)4、Oracle的MDM解决方案(oracleMDM套件)...原创 2020-09-11 23:29:43 · 442 阅读 · 0 评论 -
2020-09-10【学习笔记】【主数据驱动的数据治理】七、主数据项目的运维管理
通常情况下,主数据管理平台的日常运维组织会分为三个层级,及二级运维中心,一级运维中心、外部供应商。主数据管理平台的日常运维,涵盖如下内容:主数据模型运维管理 主数据工作流运维管理 主数据生命周期运维管理 主数据质量运维管理 主数据基础服务运维管理 主数据存储运维管理 主数据安全运维管理 数据库系统运维服务 基于云服务的运维管理...原创 2020-09-10 23:20:42 · 355 阅读 · 0 评论 -
2020-09-09【学习笔记】【主数据驱动的数据治理】六、主数据项目实施步骤
实施方法概述主数据项目的实施方法:整个过程包括两个阶段,6个步骤项目实施阶段的主要任务:第一阶段:体系规划阶段1、项目启动、需求调研及评估2、体系规划和架构设计3、数据标准制定4、主数据管理平台设计第二阶段:平台实施阶段1、客户化设计、开发、测试阶段2、数据清洗阶段3、培训、上线准备、系统上线运行阶段4、系统上线运行支持数据准备1、数据准备方案制定2、数据采集3、数据清洗4、数据导入5、人员培训6、程序设计7、系..原创 2020-09-09 23:17:50 · 419 阅读 · 0 评论 -
2020-09-08【学习笔记】【主数据驱动的数据治理】五、主数据体系规划方法(4)
主数据识别分析方法主数据识别分析中主要考虑以下几个问题识别哪些是主数据和哪些是主数据的属性 识别不同主数据之间的关系 识别主数据与业务系统之间的关系 识别主数据与业务管理之间的关系主数据识别流程:主数据应具有以下特征特征一致性 识别唯一性 长期有效性 交易稳定性主数据体系规划与架构设计:主数据四大体系规划:主数据标准管理:数据质量评估维度精确性 完整性 一致性 有效性 唯一性 信息因素 技术因素 流程因素 管理因素主数据安全体原创 2020-09-08 21:10:50 · 238 阅读 · 0 评论 -
2020-09-07【学习笔记】【主数据驱动的数据治理】五、主数据体系规划方法(3)
现状调研与需求分析1、现状调研调查方法:资料收集 访谈 实地考察 问卷调查需求引擎方法:原型法 JAD联合会议 观摩法现状调研方法自上而下有序开展 程序化的调研过程 点面结合的合理分配 客观开放的调研态度 主动友善的工作方式现状调研的内容现状评估与差距分析 需求分析 需求分析的内容 需求分析的方法 业务流程分析与建模 数据流程分析与建模...原创 2020-09-07 23:06:40 · 158 阅读 · 0 评论 -
2020-09-06【学习笔记】【主数据驱动的数据治理】五、主数据体系规划方法(2)
主数据体系规划的任务和步骤主数据体系规划的任务制定主数据体系的发展战略 制定主数据体系的总体架构 制定主数据管理系统实施的资源分配计划主数据体系规划的步骤现状调研 现状评估及需求分析 体系规划与架构设计 实施规划主数据体系评估方法论主数据管理成熟度模型成熟度模型内部结构主数据管理成熟度评估方法组件评估小组策划和准备评估主数据管理成熟度评估步骤:实施评估报告评估结果...原创 2020-09-06 22:30:14 · 209 阅读 · 0 评论 -
2020-09-05【学习笔记】【主数据驱动的数据治理】五、主数据体系规划方法(1)
主数据管理的关键是建立持续、稳定和长效管理机制。建设长效的管理机制是信息化建设的监事保证。主数据体系规划是实施主数据管理的第一阶段,主要用来明确主数据体系的发展方向,体系架构,和实施步骤。这一阶段需要用到主数据管理成熟度模型(MDMMM)的理念进行主数据体系的评估和需求分析。主数据规划的主要方法和步骤:1、主数据体系规划工作,是主数据的概念在组织中逐渐形成、清晰和完善的阶段,是面向全局、面向长远的关键问题。因此,之一过程需要得到企业各个部门的支持与合作,采用自上而下的规划方...原创 2020-09-05 22:32:18 · 359 阅读 · 0 评论 -
2020-09-04【学习笔记】【主数据驱动的数据治理】四、主数据项目的准备(3)
数据治理管理组织1、项目组织数据治理需要跨不同的组织和部门,因此,需要建立数据治理的组织架构,进行有效的管理和控制数据治理的各项任务,描述数据 治理的目标。明确数据治理的关键流程图、关键利益相关方、角色、职责、决策权和成功的度量方式等。主数据项目启动前,应该建立主数据项目组织,该组织应该包括,企业内各类主数据的管理组织架构,运营模式,角色与职责规划。2、人员配置 数据治理团队需要专业的数据管理专员,以确保对数据资产进行有效的控制和使用。明确数据治理的管理职责。主数据项目的组织机构中,每个过.原创 2020-09-04 23:22:45 · 282 阅读 · 0 评论 -
2020-09-03【学习笔记】【主数据驱动的数据治理】四、主数据项目的准备(2)
主数据项目中的数据风险1、数据质量风险主要发生在项目初期,如数据质量参差不齐,数据缺失等数据质量的评价指标有:准确性 完整性 一致性 唯一性 有效性凡是有助于提高数据质量的过程都是数据清洗的过程。数据清洗的主要工作有:确认输入数据 修改错误值 替换空值 保证数据落入定义域 消除冗余数据 解决数据中的冲突2、数据转换风险造成数据丢失 数据不完整 数据不一致数据转换的基本类型简单变换(类型,形式) 值域转换数据清洗主要是检查有效值。有效值原创 2020-09-03 23:19:39 · 213 阅读 · 0 评论 -
2020-09-02【学习笔记】【主数据驱动的数据治理】四、主数据项目的准备(1)
1、主数据实施过程中,企业首先要准备的工作是?搭建符合企业经营活动需求的统一的主数据体系、制定企业经营 活动中所涉及的各类主数据的统一数据标准和规范。2、主数据项目实施的主要风险?组织管理风险、数据质量风险、数据转换风险、系统集成风险等。项目建设初期,组织管理风险会比较突出,在项目建设过程中,数据质量风险,数据转换风、系统集成风险,会比较突出。如何规避风险是主数据项目实施过程中的主要任务。3、有效的数据治理需要跨越企业不同组织和部门建立企业内部数据治理的组织架构,进行有效的管理并控制数据原创 2020-09-02 23:53:16 · 293 阅读 · 0 评论 -
2020-09-01【学习笔记】【主数据驱动的数据治理】三、主数据驱动的数据治理(2)
1、现有数据治理框架的局限 数据治理是综合性很强的领域,即设计企业战略,有涉及管理制度。同时还和数据管理的技术架构紧密相关。成功的数据治理,需要完善的方法论指导,合理的过程和制度保障,以及系统的平台和工具的支持。 同时,中国企业的数据治理在体系层面、管理对象层面和技术平台层面都存在显著的特色,这些特色在上述治理框架中关注不够。首先,国内强调数据标准建设。同时,国内习惯于将各种数据进行集成,形成统一的数据资源管理平台,并做定制化开发。因此数据治理在被接受前已经存在大量的数据标准和数据平台。但跨业务..原创 2020-09-01 21:21:36 · 389 阅读 · 0 评论 -
2020-08-31【学习笔记】【主数据驱动的数据治理】三、主数据驱动的数据治理(1)
1、国际标准化组织ISO、IEC38505数据治理框架2、国际数据管理协会DAMA提出的DAMA-DMBOOK框架以数据管理为中心,认为数据治理是数据管理的组成部分,是数据管理的核心功能。3、国际数据治理研究所从组织、规则、过程三个层面,提炼出数据治理的10个基本组件:4、IBM数据治理委员会IBM数据治理委员会,通过结合数据特性,实践经验,有针对性的提出了数据治理的成熟度模型。...原创 2020-08-31 21:03:04 · 732 阅读 · 0 评论 -
2020-08-30【学习笔记】【主数据驱动的数据治理】二、主数据和主数据管理(2)
1、主数据管理系统应该具备的功能主数据模型管理:完成数据模型的定义,完成数据的底层架构管理 主数据业务管理:提供主数据全生命周期的业务功能。 工作流服务 数据交换中间件管理 报表分析 系统管理2、主数据管理的必要性目前企业信息化建设运行中,主数据管理不善所带来的问题日益增多。例如数据孤岛,使信息交互和集成带来很大的困难 没有统一的数据标准和流程体系,缺乏有效的数据变更和审核机制 存在大量冗余数据和错误数据,严重影响了报表和决策分析的效果 大量分散的数据缺乏统一的标准,数据对照和原创 2020-08-30 23:28:54 · 488 阅读 · 0 评论 -
2020-08-29【学习笔记】【主数据驱动的数据治理】二、主数据和主数据管理(1)
1、主数据定义:具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,是单一、准确、权威的数据来源。起源于早起企业信息化时搭建的一些诸如,ERP、CRM等的系统。这些系统中的数据都是孤立存在的,虽然一些企业试图通过数据接口来实现系统集成。但是这些尝试并没有在根本上解决系统集成问题。2、主数据的特征特征一致性 识别唯一性 长期有效性 业务稳定性3、典型主数据的范围(什么样的数据是主数据)基础数据 (国家地区、货币、金融机构、行业分类) 组织机构及人员(法人、部门等)原创 2020-08-29 20:45:19 · 912 阅读 · 0 评论 -
2020-08-28【学习笔记】【主数据驱动的数据治理】一、数据治理概述(2)
1、数据治理的内容很多企业目前在做的例如,数据集成,ETL,元数据等项目都属于数据治理,但是都是数据治理的组成部分。数据治理是管理方法与技术工具的综合应用。完整的数据 治理项目通常包括目标、组织、制度、工具、标准5个关键要素。2、数据管理和使用的相关法案sox法案 与 basel III 协议等3、数据治理的基本过程4、数据管理成熟度模型...原创 2020-08-28 23:34:06 · 406 阅读 · 0 评论 -
2020-08-27【学习笔记】【主数据驱动的数据治理】一、数据治理概述(1)
随着互联网技术的高度发展,企业信息化的发展。导致企业数据的爆发式增长。企业数据环境日趋复杂。什么是数据管理?什么又是数据治理? 按照国际数据管理(DAMA)协会的定义,数据管理(DM)是规划、控制、和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法、和程序,从而控制、保护、交付和提高数据和信息资产的价值。 数据治理和众多新型学科一样,有很多种定义。IBM认为,数据治理是根据企业的数据管控政策,利用组织人员、流程和技术的相互协作,使企业能将“数..原创 2020-08-27 22:42:32 · 1118 阅读 · 0 评论