作者:禅与计算机程序设计艺术
1.简介
数据治理和合规性(Data Governance and Compliance)是企业应对数据泄露、管理、分类、存储、传输、共享、使用、保护等过程中的各个环节。作为一个技术领域,如何落地一套有效的数据治理和合规体系是一个技术人的重要工作。《数据治理与合规性》试图通过系统化的学习路线,帮助架构师和工程师更全面地理解并掌握数据治理和合规相关的核心知识和技能。本文为该系列的第一篇,将从数据管理、分类、隐私、保护、数据流动、违规处理、工具、数据湖、云端服务等多个方面进行讲解。
2.基本概念和术语
2.1 数据管理
数据管理的目的是确保企业拥有准确可靠的业务信息。数据管理包括三个层次:数据源的整合、规范化、数据质量保证。
2.1.1 数据源整合
数据源整合可以从三个角度来考虑:
- 来源:不同数据源有不同的价值、目的、品质要求。比如高价值的大数据源可以用于精准营销,而低价值的关系数据库则适合保存原子型的、结构化的数据。
- 流通方式:不同数据的流通方式也不一样。比如传统上是企业内部的传输系统,现在可能采用云平台的数据管道进行整合。
- 时效性:不同数据源的时效性也是不一样的,比如静态数据和实时数据存在着巨大的区别。