四月天03
能用钱解决的问题,千万别花时间
展开
-
DAMA-总结(数据管理的总结)
数据管理利益相关方涉及众多,数据生产者、数据开发者、数据使用者,且大家核心目标是不一致的,生产者保证线上业务的连续性、开发者保证数据需求的完整性、使用者保证数据使用的有效性,看似都与数据有关、但却各自关注点大相径庭。,一开始的架构都是简洁明了的,然而随着组织业务不断的发展、人员的不断变更使得架构系统变得臃肿,难以为继。对外需要争取组织高层和数据消费者的支持,很多跨团队合作的业务需要自上而下,最终的数据消费者也是一个非常重要的部分,他们是数据的直接使用者,如果脱离他们的应用,数据价值就是空中楼阁。......原创 2022-07-17 09:17:00 · 2055 阅读 · 0 评论 -
DAM-第十三章(数据质量管理)
导致数据质量低下的因素很多,主要包括组织缺乏对低质量数据影响的理解、缺乏对数据的规划、孤岛式的业务&数据系统设计、不一致的开发过程、不完整的文档、缺乏标准或缺乏治理等。大多数组织都有大量的数据,但并非所有的数据都有同等的重要性。并非所有的数据都有同等的重要性,数据质量管理工作应首先关注最重要的数据如果数据价值更改,并将组织及其客户提供更多的价值。为了保证数据质量,应围绕数据质量方案制定一个实施计划,允许团队管理数据质量规则和标准、监控数据和规则的持续一致性、识别和管理数据质量问题,并报告质量水平。.....原创 2022-07-17 09:16:30 · 536 阅读 · 0 评论 -
DAMA-第十二章(元数据管理)
元数据本身也是需要进行管理的,由于元数据的特殊性,和应用场景的局限性,往往难以受到广泛的业务重视,所以不仅需要元数据管理者具备高度的专业能力和深度的投入,也需要企业高层对实践活动的支持。元数据存储库硬蛋将提取的技术元数据与相关的业务、流程和管理元数据集成在一起,可使用适配器、扫描仪、网桥应用程序或直接访问源数据存储中的方式来提取元数据。元数据可以帮助组织理解其自身的数据、系统、流程,同时帮助用户评估数据质量,有助于处理、维护、集成、保护和治理其他数据,对数据库和其他应用程序的管理来说是不可或缺的。.....原创 2022-07-17 09:15:21 · 769 阅读 · 0 评论 -
DAMA-第十一章(数据仓库与商务智能)
可通过协作工具进行这项工作,通过卓越中心监控活动确保创建的内容保留在逻辑模型中,确保面向业务的内容与面向技术的物理模型之间保持一致,降低下游错误和返工的风险。数据仓库是数据建设的核心,是数据集中处理的场所。大部分关于数据仓库构建的讨论,都受到两位有影响力的思想领袖BillInmon和RalphKimball的影响,他们在数据仓库建模和实施上各有不同的方法和思想。操作型商务智能的出现推动了更低延迟的需求,将更多实时的或准实时的数据集成到数据仓库中,新的架构方法随之出现,用于处理易变化的数据。......原创 2022-07-16 17:04:38 · 601 阅读 · 0 评论 -
DAMA-第十章(参考数据与主数据)
参考数据是指可以用于描述或分类其他数据,或者将数据与组织外部数据联系起来的任何数据)和主数据(主数据是有关业务实体的数据,如雇员、客户、产品、金融结构、资产和位置、业务行为流程)。并根据参考数据和主数据的特性和异同分别进行相应的管理和规整,以此提升组织的数据质量,增强组织的数据能力。主数据代表与关键业务实体有关的、权威的、准确的数据。主数据代表与关键业务实体有关的、权威的、准确的数据,是组织数据的主要载体,且一般数据体量较大,是组织活动的主要信息载体,可以理解为我们常说的。...原创 2022-07-16 17:00:56 · 933 阅读 · 0 评论 -
DAMA-第九章(文件与内容管理)
文件和内容是指存储在关系型数据库之外的数据和信息,这部分信息是整个数据领域的重要部分,由于文件和内容的特殊性,该部分数据的主要操作涉及相应的存储、管理、访问,中间处理过程相对较少,因此篇幅较为有限,且解释性内容较多(按照CDMP考试认证的占比高达11%)。本章主要讲述文件和内容的管理,全文首先从文件和内容的概念讲起,阐述文件和内容管理的驱动因素和相应需要遵循的原则,并对相关的专业术语进行了较为全面的介绍(有些枯燥),并对整个管理活动的流程、所需工具等做了简述。计划中应考虑内容的驱动因素、内容创建和交付等。.原创 2022-07-16 16:58:02 · 712 阅读 · 0 评论 -
DAMA-第八章(数据集成与互操作)
批量数据集成的流程编排将设定数据移动和转换的频率。数据血缘对于数据集成和互操作解决方案的开发非常有价值,治理需要确保记录数据来源和数据移动的信息,数据共享协议可能规定了数据使用的限制。数据集成是将数据整合成物理的或者虚拟的一致格式,数据互操作是多个系统之间践行通信的能力,数据集成和互操作的解决方案提供了大多数组织所以来的基本数据管理职能。将数据从各原系统抽取到对应的数据集成中心中进行处理加工,经过一系列的格式转化、标准统一、逻辑处理之后得到标准通用的数据,以此提供给各个数据消费系统进行业务支持。...原创 2022-07-16 16:56:41 · 876 阅读 · 0 评论 -
DAMA-第七章(数据安全)
随着数据的不断膨胀,数据的管理难度不断加大、数据滥用风险不断增加,造成了数据技术在服务于人们的时候也为大家带来了很大的困扰。在第二章中我们总结了数据处理的伦理,其中很大一部分就是保证数据安全,本文对数据安全的技术、实施注意事项、度量指标等进行了全面的概述,让我们对数据安全有了一个较为全面的理解。有的指标有助于流程改进,有的指标衡量流程的进度开展的审计量、安装的安全系统、报告的事件数以及系统中未经检查的数据量。虽然完美的数据安全几乎不可能,但避免数据安全漏洞的最佳方法是建立安全需求、制度和操作规程的意识。..原创 2022-07-16 16:55:30 · 604 阅读 · 0 评论 -
DAMA-第六章(数据存储与操作)
数据验证是根据既定的验收标准评估存储数据的过程,以确定其质量和可用性,DBA对数据审计和验证提供部分支持工作,包括帮助制定和审查方法、进行初步的数据筛查和审查、开发数据监控方法、应用统计信息、地理统计信息、生物统计信息等技术来优化数据分析、支持采样及分析、审核数据、提供数据发现的支持、担任与数据库管理相关问题的主题专家。不同的数据库有不同的特性,数据在不同的载体中需要用合适的方法,因此我们在使用数据的时候需要更好地了解其存储的设备和系统,只有这样我们才能因地制宜,更好地发挥数据的价值。...原创 2022-07-16 16:53:51 · 541 阅读 · 0 评论 -
DAMA-第五章(数据建模与设计)
本文是《DAMA数据管理知识体系指南》第五章的读书笔记,主要讲述如何进行数据建模和设计,该章是全文的核心关节之一(按照CDMP考试认证的内容占比高达11%,是占比最重的五个章节之一)。通常,主键是代理键,而备用键是业务键。数据拱顶模型设计的重点是业务的功能领域,中心表代表业务主键,链接表定义了中心表之间的事务集成,卫星表定义了中心表主键的语境信息。,在建模过程中,首先要研究现有的数据模型和数据库,参考已发布的建模标准和数据标准,搜索和考虑随时提出的新的数据要求,在此基础上建模人员设计数据模型初稿;...原创 2022-07-16 16:49:25 · 793 阅读 · 0 评论 -
业务架构、应用架构、数据架构、技术架构
数据建模的方法包括面向结构的传统ER模型分析方法,也包括面向对象的对象类模型分析方法,它们都是可行的数据建模方法,只是传统ER模型分析方法更容易实现向底层物理数据库模型的转换,而面向对象的对象类建模方法更容易体现抽象和复用。业务架构是对业务需求的提炼和抽象,使用一套方法论对产品(项目)所涉及需求的业务进行业务边界划分,简单地讲就是根据一套逻辑思路进行业务的拆分,开发软件必须满足业务需求,否则就是空中楼阁。例如,对于比较类似的业务系统,可能业务架构在比较粗的颗粒度上是一样的,而在细化过程中不一样。...原创 2021-12-11 18:07:14 · 5481 阅读 · 0 评论 -
DAMA-第四章(数据架构)
一个完整的数据架构中的构建应当包括当前状态的描述、数据需求的定义、数据整合的指引、数据管控策略中要求的数据资产管理规范。数据架构主要需要考虑如下几个方面数据架构的成果(也就是常说的数据架构的构建)、数据架构的活动(用于形成、部署、和实现数据架构的目标)以及数据架构的行为。企业架构类型数据架构的设计与实施同其他架构紧密相连,企业组织中的架构主要包括组织架构、业务架构、IT技术架构、数据架构等。企业数据模型是一个整体的、企业级的、独立实施的概念和逻辑数据模型,为企业提供通用的、一致的数据视图;......原创 2022-07-16 16:47:45 · 1481 阅读 · 0 评论 -
DAMA-第三章(数据治理)
下图是一个类似的运营框架示例。常见的数据管理知识领域内的标准化概念如下数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成、文件与内容、参考数据与主数据、数据仓库和商务智能、元数据、数据质量等。风险成本基于罚款、预计诉讼费的估价,来自法律或监管的风险(缺少必需的数据、存在不应留存的数据、数据不正确造成的客户、公司财务或者剩余受到损害的成本)。有效而持久的数据治理需要组织文化的转变和持续的变革管理,文化包括组织思维和数据行为,变革包括为实现未来预期的行为状态而支持的新思维、行为、策略和流程。.....原创 2022-07-16 16:45:33 · 3120 阅读 · 0 评论 -
企业级数据管理——DAMA数据管理
数据管理职能包括数据治理、数据架构、数据建模和设计、数据存储和操作、数据安全、数据集成和互操作、文档和内容管理、参考数据和主数据管理、数据仓库与商务智能、元数据管理、数据质量管理。基本环境要素包括目标与原则、组织与文化、工具、活动、角色和职责、交付成果、技术。数据是理解事实的符号,信息是带有逻辑的数据组合,知识是直接指导业务决策和行动,因而能直接产生价值,最后透过数据进行挖掘、分析和决策,从数据、信息到知识逐层递进,通过DAMA金字塔图中的四个阶段,全面深入学习、了解和掌握核心章节及有关内容:原创 2022-04-02 20:18:20 · 4998 阅读 · 0 评论 -
数据资产管理
玩转数据资产遵循“微服务、大平台、轻技术、易操作”的设计理念,以大数据处理技术为支撑,以数据规划与管理咨询方法为指导,以数据聚合、治理、融合、服务为核心,致力于为用户提供有效的数据资产沉淀工具,服务数据资产管理、数据治理、数据仓库建设、数据中台落地等企业诉求,实现数据驱动业务,支撑数据价值发现。数据资产目录1. 数据有哪些、是什么、在哪里一目了然2. 企业级结构化数据、非结构化数据统一的资源目录,及数据查询与申请元数据管理1.元数据自动采集、动态感知,版本差异标记2.元数原创 2021-04-27 20:50:29 · 5821 阅读 · 0 评论 -
数据安全与分类分级、敏感信息定义与分级分类标准
敏感信息定义与分级分类标准原创 2022-07-16 10:08:04 · 4429 阅读 · 0 评论 -
数仓:数据仓库建设规范
1 概述本文档制定了XX数据仓库中数据库对象的命名规范(用户、表、视图、存储过程、函数、表分区、主键、索引、序列等)、数据库编程规范,JAVA编程规范为系统设计和开发工作提供统一的命名标准,提高系统的规整性和代码的可读性,减轻维护工作量,提高工作效率。2 数据库对象命名规范2.1 层次划分 数据层级按照自己数据仓库规划的命名即可2.2 表、视..原创 2021-01-11 09:09:39 · 1251 阅读 · 1 评论 -
银行数据管理办法
数据管理岗由总行各部门委派人员担任,且应至少确保一名在职员工担任或兼任,部门应包括资产负债管理部、软件开发中心、数据中心、电子银行中心、公司银行部、个人银行部、小微企业银行部、小企业信贷中心、信贷监控部、评审部、国际业务部、票据业务部、资金部、信用卡部、财务部、会计结算部、风险管理部、资产管理部、稽核部、合规部、人力资源部和运营管理部。数据使用的安全是指有效地防止数据在录入、处理、统计或打印中由于硬件故障、断电、死机、人为的误操作、程序缺陷、病毒或黑客等造成的数据库损坏或数据丢失现象。......原创 2022-07-16 12:30:26 · 562 阅读 · 0 评论 -
数据治理系列(四):数据质量管理
“数据质量管理是对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理的终极目标是通过可靠的数据提升数据在使用中的价值,并最终为企业赢得经济效益。”——以上内容摘自百度百科。笔者观点:“数据质量管理不单纯是一个概念,也不单纯是一项技术、也不单纯是一个系统,更不单纯是一套管理流程,数据质量管理是一个集方法论、技术、业务和管理为一体的解决方案。通过有效.原创 2021-01-13 14:09:53 · 16462 阅读 · 6 评论 -
数据治理系列(三):主数据管理
主数据项目建设从方法上,分为以下四部,简单归结为12个字:“摸家底、建体系、接数据、抓运营”!一、摸家底摸家底需要全面调研和了解企业的数据管理现状,以便做出客观切实的数据管理评估!1、数据资源普查数据资源普查的方法常用的有两种,一种是自顶向下的梳理和调研,另一种是自底向上的梳理和调研。自顶向下的调研一般会用到IRP(信息资源规划)和BPM(业务流程管理)两个方法。这里重点介绍一下IRP,信息资源规划(Information Resource Planni...原创 2021-04-27 22:31:54 · 2542 阅读 · 0 评论 -
数据治理系列(二):数据标准管理
导读:提到“标准”二字,我们第一时间能够想到的就是一系列的标准化文档,例如:产品设计标准、生产标准、质量检验标准、库房管理标准、安全环保标准、物流配送标准等,这些标准有国际标准、国家标准、行业标准、企业标准等。而我们所说的数据标准却不单单是指与数据相关的标准文件,数据标准是一个从业务、技术、管理三方面达成一致的规范化体系。数据标准是什么?数据标准化是指研究、制定和推广应用统一的数据分类分级、记录格式及转换、编码等技术标准的过程。——维基百科。笔者理解:数据标准是一套由管理制度、管控流程、技术工具原创 2021-01-13 14:06:34 · 1086 阅读 · 0 评论 -
数据治理系列(一):元数据管理 、数据血缘数据管理:
2、HDFS的小文件合并成大文件前提:在实际项目中,输入数据往往是由许多小文件组成,这里的小文件是指小于HDFS系统Block大小的文件(默认128M), 然而每一个存储在HDFS中的文件、目录和块都映射为一个对象,存储在NameNode服务器内存中,通常占用150个字节。由于Hadoop擅长存储大文件,因为大文件的元数据信息比较少,如果Hadoop集群当中有大量的小文件,那么每个小...原创 2020-04-10 21:30:00 · 16361 阅读 · 6 评论 -
数据治理系列(一):大数据集群资源治理
https://mp.weixin.qq.com/s/kIuiv7qDo4yvxr-mIJf3QQ随着移动互联网和大数据的蓬勃发展,“数据即资产”的理念深入人心。大数据已发展成为具有战略意义的生产资料,在各行各业发挥着极其重要的作用,而大数据也给很多企业带来了前所未有的自豪感和自信感。但是,大数据真的是越“大”越好吗?大数据到达一定的规模,其所需承载的集群资源成本、数据开发维护成本和数据管理成本,将会呈几何式增长,同样也将会带来一笔巨额的开销。如果缺少科学有效的治理管控,就会出现大量的“负”数据原创 2020-09-09 18:35:19 · 1995 阅读 · 0 评论 -
数据治理系列(总)
一、什么是数据治理?维基百科:数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式,将价值回馈于业务,并最终体现为增加收入和利润。笔者认为:所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴。数据治理的目的就是通过有效的数据资源控制手段,进行数据的控制,以提升数据质量进而提升数据变现的能力。二、为什么需要数据治理?在我国,各行业的信息化发展和建设水平并不均衡,甚至有的行业是刚刚起...原创 2021-01-13 14:05:07 · 6620 阅读 · 0 评论