网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
1、元数据构成
数据资源目录当中的很多属性信息是来源于元数据(图二),上面也提到了数据资源目录是通过对信息资源依据规范的元数据描述,所以这里我们先要理清楚有哪些元数据信息是需要先定义好的。通常主要包括:
-
**信息资源名称:**描述数据资源内容的标题。
-
**信息资源名称:**描述数据资源内容的标题。
-
**信息资源代码:**数据资源唯一且不变的标识代码。
-
**信息资源分类:**可以依据组织的业务需求和应用需求自行划分数据资源的分类。(常用分类包括行业分类、业务分类、管理对象分类、主题分类、信息类别分类)
-
**数据资源提供方:**提供数据资源的部门。
-
**数据资源提供方代码:**提供数据资源的部门代码。
-
**数据资源摘要:**对数据资源内容或关键字段的概要描述。
-
**数据资源格式:**对数据资源存在方式的描述,如电子文件、电子表格、数据库、图形图像、流媒体、自描述格式、其他等。
-
**数据项信息:**对结构化数据资源的细化描述,包括数据项名称、数据类型、数据项共享类型、数据项开放类型等。
-
**共享属性:**对数据资源共享属性的描述,包括共享类型、共享条件、共享方式等。
-
**开放属性:**对数据资源是否面向组织外部开放及开放条件的描述,包括是否向社会开放、有条件开放、无条件开放。
-
**更新周期:**数据资源更新的频度,可以分为实时、每日、每周、每月、每季度、每年等。
-
**发布日期:**数据资源提供方发布数据资源的日期。
-
**关联资源代码:**数据资源在目录中重复出现时的关联性标注。
2、数据分类编码
数据资源目录的分类是根据数据资源内容的属性或特征,结合行业和业务调整,对数据资源进行一定原则和方法进行区分和归类。按照国标内容的要求,信息资源目录的编码原则与方法应遵循《GB_T 7027-2002 信息分类和编码的基本原则与方法》中混合分类方法的规定。分类类目编码应遵循《GB 18030-2022信息技术 中文编码字符集》的规定,采用英文字母和阿拉伯字母。
图三:数据分类方式
3、数据分级定义
数据分级主要是从数据的保护措施角度考虑,通过数据定级让数据管理者意识到当前的数据资产当中有哪些数据安全等级是比较高的,应如何针对性的管理,当然说到数据分级,就要谈到相关的法律法规。
数据安全法:第二十一条 国家建立数据分类分级保护制度,根据数据在经济社会发展中的重要程度,以及一旦遭到篡改、破坏、泄露或者非法获取、非法利用,对国家安全、公共利益或者个人、组织合法权益造成的危害程度,对数据实行分类分级保护。
**网络数据安全管理条例(征求意见稿):**第五条 国家建立数据分类分级保护制度。 按 照数据对国家安全、公共利益或者个人、组织合法权益的影 响 和重要程度,将数据分为一般数据、重要数据、核心数据,不同级别的数据采取不同的保护措施。
**在国家标准《GB/T 25069-2010信息安全技术术语》**中,没有定义信息或数据分级,但有安全分级的定义,其内涵实际上是包括了信息的分级:安全分级(security classification):根据业务信息和系统服务的重要性和受损影响,确定实施某种程度的保护,并对该保护程度给以命名。 依据访问数据或信息需求,而确定的保护程度,同时赋予相应的保护等级。 例: “绝密”、“机密”、“秘密”。
在数据分级的概念上,目前各行业对于分级的粒度也有所不同,如运营商、银行、政务、医疗等不同行业对分级的定义,大体上是参考以下部分国标:
GB /T 39477 -2020 信息安全技术 政务信息共享 数据安全技术要求
GB/T 35273 -2020 信息安全技术 个人信息安全规范
GB/T 38667-2020 信息技术 大数据 数据分类指南
GB/T 38664.1-2020 信息技术 大数据 政务数据开放共享 第 1 部分:总则
《中华人民共和国数据安全法》
《中华人民共和国个人信息保护法》
《政务信息资源共享管理暂行办法》(国发〔2016〕51 号)
图四:移动公司数据分级定义
图五:政务数据分级定义
3、共享属性定义
信息资源目录按共享类型分为无条件共享、有条件共享、不予共享等三种类型。
可提供给所有部门共享使用的信息资源对应目录属于无条件共享类。
可提供给相关部门共享使用或仅能够部分提供给所有部门共享使用的信息资源对应目录属于有条件共享类。
不宜提供给其他部门共享使用的信息资源对应目录属于不予共享类。
三、数据资源盘点
明确了数据资产目录的结构之后,接下来就是对数据资产进行盘点,规定如何完成数据目录的划分,这是定义数据资源目录最复杂的问题。
一般做这项工作至少需要4-5个人,同时牵头组织人还需要具备以下技能:
- 掌握业务,如果不懂,组内必须有人要懂
- 熟悉有哪些部门,每个部门的职责是什么
- 针对数据库有比较深的理解
- 针对数据架构有比较深的理解
- 针对数据治理实施方法论有比较深的理解
数据资产盘点的成果是数据资产清单或数据资产目录,它能从全局层面直观的展现单位拥有的数据资产情况,帮助数据管理方进行更有效的数据利用和管理,明确数据保护目标,协助完成数据安全保护体系的构建。
数据资产盘点应该以数据价值为导向,以统一标准为核心。因此,在进行数据资产盘点前,我们需要明确以下几点:
- 单位在日常经营活动中,积累了体量庞大的数据
- 只有可控的、能带来利益的数据才是数据资产
- 数据使用和保护的前提是知道有哪些数据、在哪里
- 统一的数据定义和价值标准,将有利于数据的使用和管理
- 明确数据的归属,将为跨业务的数据使用和数据安全保护落实提供便利
数据资产盘点主要分为:收集元数据信息、数据分类划分、数据分级划分、数据共享属性确定。
(1)收集元数据信息
元数据信息在收集环节可以不完全依赖技术元数据、管理元数据和操作元数据的划分来区分,根据调研的不同对象,可以按照部门元数据和数据中台元数据两个方向来收集,这样通过元数据的收集,可以记录不同的数据对象分别来源哪个应用系统,数据库及部门等信息。
图六:元数据信息
关于元数据的实施开展,请本号另一篇文章《元数据管理如何实施》
(2)数据分类定义
数据分类的定义需要有业务专家参与,对数据的分类没有十分严格的边界,因为很多数据是跨业务环节,所以需要由业务专家牵头,结合数据清单识别数据的不同业务属性,主题域属性进行划分。
图七:数据分类
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新