一、华为的数据治理体系框架
【备注说明】:一般称为“一纲三策”
二、建立公司级的数据治理政策
1、华为数据管理总纲
华为数据管理总纲明确了数据治理最基本的原则,包括信息架构、数据产生、数据应用及数据质量的职责和分工等,确保数据治理环境的有效构建。
信息架构管理原则:
第一条:建立企业级信息架构,统一数据语言。
第二条:所有变革项目须遵从数据管控要求。对于不遵从管控要求的变革项目,数据管控组织拥有一票否决权。
第三条:应用系统设计和开发应遵从企业级信息架构。关键应用系统必须通过应用系统认证。
数据产生管理原则:
第一条:数据规划对齐业务战略,业务战略规划必须包含关键数据举措及其路标规划。
第二条:公司数据Owner拥有公司数据管理的最高决策权,依托ESC(变革指导委员会)决策平台议事。各数据Owner承担数据工作路标、信息架构、数据责任机制和数据质量的管理责任。
第三条:关键数据须定义单一数据源,一点录入,多点调用。数据质量问题应在源头解决。
第四条:谁产生数据,谁对数据质量负责。数据Owner负责基于使用要求制定数据质量标准,且须征得关键使用部门的同意。
数据应用管理原则:
第一条:数据应在满足信息安全的前提下充分共享,数据产生部门不得拒绝跨领域的、合理的数据共享需求。
第二条:信息披露、数据安全管理、数据保管和个人数据隐私保护等必须遵守法律法规和道德规范的要求。公司保护员工、客户、商业伙伴和其他可识别个体的数据。
数据问责与奖惩管理原则:
各数据Owner应建立数据问题回溯和奖惩机制。对不遵从信息架构或存在严重数据质量问题的责任人进行问责。
【备注说明】数据管理总纲从宏观政策层面规范了企业数据管理的总则,企业完全可以参考或照般这些内容。
2、信息架构管理政策
信息架构是公司统一的数据语言,是业务流打通、消除信息孤岛和提升业务流集成效率的关键要素。
管理信息架构的角色与职责:
第一条:公司数据Owner负责批准企业级信息架构,裁决重大信息架构问题和争议。
第二条:各数据Owner负责其所辖数据的信息架构建设和维护,承接及落实公司的数据规划要求。
第三条:公司的数据管理专业组织作为公司数据工作的支撑组织,负责组织信息架构的建设、维护、落地及遵从管控,负责协调跨领域的信息架构冲突。
第四条:数据管控组织作为信息架构专业评审机构,确保信息架构的质量和集成。
信息架构建设要求:
第一条:关键数据应被识别、分类、定义及标准化,数据的定义在公司范围内应唯一,数据标准制定要考虑跨流程要求。
第二条:数据资产目录必须承接公司各业务环节的使用需求和报告分析最小粒度的要求。
第三条:信息架构驱动应用架构设计,合理规划数据分布。
第四条:应用系统数据库的设计和开发要遵循信息架构,减少数据冗余,实现接口标准化。
信息架构遵从管控:
第一条:变革项目必须遵从已发布的信息架构,变革项目的交付件须包含信息架构内容。对现有架构的遵从是关键评审要素,对于不满足要求的变革项目,数据管控组织拥有一票否决权。
第二条:业务流程设计必须遵从已发布的信息架构,在流程说明文件、操作指导书或模板类文件中体现。对于不满足要求的流程,不予发布。
第三条:应用系统设计必须遵从已发布的信息架构。在应用架构交付件和应用系统设计交付件中体现。对于不满足要求的应用系统,不予上线。
【备注说明】华为的信息架构就是数据架构,只是为了更贴近业务才取用此名。数据架构是承接业务架构,支撑应用架构建设的桥梁。正常信息系统的建设要以企业数据架构为遵从。比如信息系统在进行表结构设计的时候必须要从数据元标准中进行选择。正常来说,企业应该先有业务架构,再做数据架构,但很多企业都是直接上了业务系统,只关注了应用架构、技术架构,而忽略了业务架构和数据架构,特别是数据架构,在企业内部很重要。应该做为信息系统建设的重要参考依据。
3、数据源管理政策
数据同源是华为数据治理的核心观点之一。数据源是指业务上首次正式发布某项数据的应用系统,经过数据管理专业组织认证,作为唯一数据源头被周边系统调用。本政策通过明确华为公司在数据源建设和数据源使用方面的总体原则和要求,确保数据源头的统一,以及跨流程、跨系统数据的唯一性和一致性。
数据源管理原则:
第一条:所有关键数据必须认证数据源。关键数据是指影响公司经营、运营报告的数据,在公司范围内统一发布。
第二条:数据管理专业组织为关键数据指定源头,数据源必须遵从信息架构和标准,经信息架构专家委员会认证后成为数据源。
第三条:所有关键数据仅能在数据源录入、修改,全流程共享,其他调用系统不能修改。下游环节发现的数据源质量问题,应当在数据源进行修正。
第四条:所有应用系统必须从数据源或数据源镜像获取关键数据。
第五条:数据Owner确保数据源的数据质量,对不符合数据质量标准的数据源,必须限期整改。
数据源认证标准:
数据的源头通过认证成为数据源,在遵从公司相关政策和规定的前提下,还必须符合以下标准。
第一条:数据源是在信息链上正式发布数据的第一个数据存储系统。
第二条:数据源是某项数据唯一的录入点
第三条:数据源必须是数据维护最为及时、正确、完整的数据存储系统。
第四条:数据源所在系统的性能和可用性应当满足其他调用系统的数据访问需求。
【备注说明】把数据源的管理提到公司最高层面上讲,说明这个是企业数据管理的最痛点问题,如果不进行企业数据源的认证,就会导致数据产生错乱,使用错乱,标准不统一等数据异常问题。建立企业权威数据源系统,一切数据都从权威数据源产生和往下游传递。保证企业数据有针对性对数据源头系统进行数据治理。
4、数据质量管理政策
数据质量的持续提升是华为数据治理的核心目标。通过制定数据质量管理政策,明确数据在创建、维护、应用过程中的规则及质量要求,确保数据真实可靠。
数据质量管理职责及要求:
第一条:各数据Owner负责保障所辖数据的质量,承接公司数据Owner设定的数据质量目标,制定数据质量标准及测评指标,持续度量与改进。
第二条:公司全员在业务执行的过程中应确保业务记录满足数据质量要求。
第三条:财经各级CFO组织应遵循职业道德准则,诚实记录和报告财经数据,承担财务监控和及时报告责任。
第四条:公司各级数据管理专业组织为数据Owner提供数据质量管理专业支撑。
第五条:内控组织应将数据质量管控要素的执行情况纳入SACA(Semi-Annual Control Assessment,半年度控制评估)评估范围,推动数据质量问题的闭环管理。
第六条:内审部门作为独立机构,负责重大数据问题的审计和责任回溯。
数据质量管理的业务规则和管理要求:
数据创建、维护、应用是数据生命周期管理的关键活动,应遵循以下规则及要求。
第一条:流程建设应考虑数据质量要求,将数据的关键质量控制要素纳入关键控制点
第二条:数据Owner负责基于使用要求制定数据质量标准,且须征得关键使用部门的同意。
第三条:数据创建应确保录入正确,关键数据应进行复核或审批。录入、复核和审批人员应掌握数据质量要求才能上岗。
第四条:对影响关键经营指标的数据造假行为(如伪造文档、提供与业务实质不符的信息等)采取零容忍态度。
第五条:上游环节应保证数据的真实、完整并及时传递到下游环节。下游环节为核实数据质量问题可调阅所需的上游环节的数据。
第六条:因外部原因频繁变化的基础数据(如汇率、税率等),数据Owner应及时维护并统一发布最新数据,各环节应适时刷新或引用。
第七条:数据质量应持续进行度量。数据Owner应主动解决长期影响业务运营和经营管理的数据问题。
第八条:报告与分析的层级和最小粒度应适度,能与最小业务信息单元相匹配。数据加工规则应相对稳定,报告加工过程可检视,数据可回溯、可解释。
【备注说明】:数据质量工作是企业内部最难开展的工作。一般的企业都是为满足业务需求,前期已经上了很多业务系统,在这种情况下如何开展数据质量工作是一个需要仔细思考的问题。一般而言建议通过建设数据治理平台,将数据入湖,对数据湖中的数据根据数据质量模块的功能,例行发布数据质量报告 ,推动源头信息系统的数据质量改进。
三、融入变革、运营与IT的数据治理
1、建立管理数据流程
为了支撑企业数据资产从架构设计、质量管理到数据分析应用的全生命周期管理,需要在企业的流程架构中建立一个管理数据流程,明确数据管理的关键活动、角色,以及与周边组织的协作关系。 华为将“管理数据”流程定位为“管理BT&IT”流程下的一个L2流程,下设“管理信息架构”“管理数据质量”“管理数据分析”3个子流程,如下图所示。
管理数据流程关键角色及职责设置如下表所示。
【备注说明】:上面讲的是企业需要建立数据治理的流程和岗位,流程是约束人们如何做事情,将事情进行固化,这样不因人员的流动而影响工作的交接和进行。数据治理的岗位也很重要,有很多企业在原有的信息化部门的基础上组建了数据管理部,信息化这块没有问题,但关键是业务这块,也需要有专门从事数据治理的业务岗位,尽量是专人专岗,和信息化的数据管理部配合工作,很多企业由于人员紧张,多数业务这块安排的都是兼职,这种安排其实是不可取的,因为数据治理的工作特别的繁杂,有很多需要业务参与的工作,比如业务侧业务流程的梳理,业务规则的梳理,业务数据的治理等等,这些都需要业务全身心参与,否则很难达成,只靠IT部门去做很困难。
2、理数据流程与管理变革项目、管理质量与运营之间的关系
业在运营过程中,能力的提升和架构的调整依托于变革项目和改进项目的实施。变革项目和改进项目需要交付业务解决方案、数据解决方案、IT解决方案,其中数据解决方案包含信息架构设计、数据质量度量、改进方案和数据分析方案。
具体的管理数据流程与管理变革项目、管理质量与运营之间的关系如下图所示。
【备注说明】:这块核心就是说明企业数据的工作必须围绕业务来进行开展,一切不以业务提升和改善为目标的数据工作都是胡扯。数据治理的工作核心就是为业务服务,不管理是通过数据质量工作来提升业务开展的效率,还是通过数据分析来降低业务成本,都要围绕业务开展。对于信息化的定位,就是通过技术手段提升企业的业务水平、质量,为业务创造那大的空间。以企业降本增效为目标,就是华为所讲的要么多打粮食,要么增加土地肥沃。
3、通过变革体系和运营体系进行决策
华为的数据治理实践中,数据相关的重大决议由企业变革指导委员会决策,通过变革管理体系和流程运营体系实现落地,如下图所示。
其中,信息架构的设计和变更分两层评审决策,在信息架构专家组进行专业评审,在企业架构委员会进行流程、数据与IT集成评审和争议裁决。
【备注说明】:这块讲的就是数据治理的组织,企业需要建立数据治理的组织,建议由公司一把手担任公司数据Owner,或者如华为一样,可以实行轮值主席制。
4、数据治理融入IT实施
业务人员通过使用IT产品提供的功能和服务提升作业效率,因此,对业务数据的管理要求,必然要落实到IT产品的操作界面和数据库设计中,这样才能落实数据治理的要求。
在华为的数据治理实践中,在IT产品团队中设置系统架构师和数据架构师角色,负责界面设计、数据库设计、数据集成方案设计,向上承接信息架构的设计要求。
在管理IT流程的设计规范中,明确界面的字段要遵从数据标准的定义,数据库表和字段的设计要承接信息架构的设计要求,从而达到数据治理融入IT实施流程的目标。
【备注说明】:这块讲的是数据治理的工具,企业一定要有数据治理的平台,来支撑企业数据治理的成果,最终数据治理工作都要落到平台上,其实一个项目做完(很多企业还是以项目的方式在开展工作),留下来的,回过头来看,除了一堆文档(发布的制度、标准也是文档)外,留下来的就是平台,所以平台是我们最终项目的归宿。平台的好坏其实取决于在企业内部是否有用起来,只要能用起来,承接了企业数据治理的工作那就是好平台,并不是说一定要把华为的平台引入来,不一定适合本企业,所以各企业勿必根据自己的实际去选择适合自己的平台。
5、通过内控体系赋能数据治理
华为通过内控体系,每年实施SACA评估和数据专项内部审计,揭示数据治理过程的问题,确定改进目标和责任人,从而保证数据治理机制的有效运作。
【备注说明】:这块讲的是数据治理工作的考核,一般企业对于项目管理都会通过项目的后评价来评价项目产品的使用情况,对于数据治理的平台也是同样,除此外,对于数据治理过程中发布的标准、制度、流程、规范就要通过内控审计进行审查,看是否有落地实施,做这个工作并不是要惩罚谁,而是企业在对数据治理的工作进行总结复盘,哪些地方做的不好,有时候有些企业为了过一些国家等级匆匆忙忙的写了一堆文件,但没有落地,但从当时的情况来看,这些文件帮助企业过了级,拿到了国家补助,在当时确实是需要的,但是过级之后,企业还是需要静下心来,想下企业的数据治理工作应该如何落地,还是那句话,如果不做这些事情,不落地,为对企业发展造成什么损失,切记要从企业的未来发展去着想,可能企业在当前情况下营收在200亿时可以不做数字化转型,300亿也不需要,但从300亿到500化必然是需要的,未来只有数字化企业,企业要么转型成为数字化企业,要么被淘汰。
四、建立业务负责制的数据管理责任体系
1、任命数据Owner和数据管家
华为按分层分级原则任命数据Owner,在公司层面设置公司数据Owner,在各业务领域设置领域数据Owner,这样既能确保公司数据工作统筹规划,也能同时兼顾各业务领域灵活多变的特征。
公司数据Owner是公司数据战略的制定者、数据文化的营造者、数据资产的所有者和数据争议的裁决者,拥有公司数据日常管理的最高决策权,职责如下所示:
第一条:制定数据管理体系的愿景和路标。
第二条:传播数据管理理念,营造数据文化氛围。
第三条:建设和优化数据管理体系,包括组织与任命、授权与问责等。
第四条:批准公司数据管理的政策和法规。
第五条:裁决跨领域的数据及管理争议,解决跨领域的重大数据及管理问题。
各级流程Owner就是该流程域的数据Owner,在公司数据Owner的统筹下负责所管理流程域的数据管理体系的建设和优化。各业务部门是执行规则,保证数据质量,进而推动规则优化的关键环节。通过主管机构正式任命各数据主题域和业务对象的数据Owner和数据管家,数据Owner的职责可以归纳为以下五条:
第一条:负责数据管理体系建设。数据Owner要负责所辖领域的数据管理体系建设和优化,传播数据管理理念,营造数据文化氛围。
第二条:负责信息架构建设。数据Owner要负责所辖领域的信息架构建设和维护,确保关键数据被识别、分类、定义及标准化,数据的定义在公司范围内唯一,数据标准制定要考虑跨流程要求。
第三条:负责数据质量管理。数据Owner要负责保障所辖领域的数据质量,承接公司设定的数据质量目标,制定数据质量标准及测评指标,持续度量与改进。
第四条:负责数据底座和数据服务建设。数据Owner要负责所辖领域数据入湖,建设数据服务,满足公司各个部门对本领域数据的需求。
第五条:负责数据争议裁决。数据Owner要建立数据问题回溯和奖惩机制,对所辖领域的数据问题及争议进行裁决,对不遵从信息架构或存在严重数据质量问题的责任人进行问责。
数据管家是数据Owner的助手,是数据Owner在数据管理方面的具体执行者。
【备注说明】:各企业完全可以参照此来定义企业自己的数据管理角色。在此基础上进行适合于自身企业的修改。
2、建立公司层面的数据管理组织
为支撑公司实施数据治理,华为在企业范围内建立了一个公司级数据管理部,代表公司制定数据管理相关的政策、流程、方法和支撑系统,制定公司数据管理的战略规划和年度计划并监控落实。建立并维护企业信息架构,监控数据质量,披露重大数据问题,建立专业任职资格管理体系,提升企业数据管理能力,推动企业数据文化的建立和传播。
为支撑公司实施数据治理,华为在企业范围内建立了一个公司级数据管理部,代表公司制定数据管理相关的政策、流程、方法和支撑系统,制定公司数据管理的战略规划和年度计划并监控落实。建立并维护企业信息架构,监控数据质量,披露重大数据问题,建立专业任职资格管理体系,提升企业数据管理能力,推动企业数据文化的建立和传播。
为落实公司制定的数据管理目标,在各业务领域要建立实体化的数据管理专业组织,实线向GPO(各业务领域的全球流程Owner,通常是业务领域的最高主管)汇报,承接并落实GPO的数据管理责任;虚线向公司数据管理部汇报,遵从公司统一的数据管理政策、流程和规则要求。
华为虚实结合的数据组织设置,是确保数据工作能充分融入业务,同时能够在应用系统中有效落地的关键。
数据管理组织中各个组织的职责和分工如下所示:
体系建设者:
第一条:负责数据管理的战略、规划、政策、规则的制定。
第二条:负责数据管理体系建设。
第三条:数据架构及核心数据资产管理。
第四条:确保公司数据质量水平。
能力中心:
第一条:构建数据管理的方法、工具、平台。
第二条:负责专业能力的开发和建设,包括数据架构、数据分析、信息管理、数据质量管理。
业务的数据伙伴:
第一条:面向业务,提供数据解决方案,解决业务数据痛点。
第二条:支撑业务数据需求
第三条:向业务提供标准化的主数据或基础数据服务。
文化倡导者:
第一条:在公司范围建设追求卓越、“谁创建(录入)数据,谁对数据质量负责”的文化。
第二条:用数据支撑业务决策的文化。
同时,在数据工作的不同阶段,分场景组建了不同的虚拟数据团队,如信息架构建设工作组、数据质量执行组、元数据工作组等,以保障跨领域数据工作的有序开展。
【备注说明】:这块讲数据管理的组织,华为的这个数据管理组织很有意思,有技术组织(能力中心),有业务组织(业务的数据伙伴)、有数据组织(体系建设)、有文化组织(文化倡导)。通过平台、制度、文化、数据全方位掌控企业数据的方方面面。
3、华为数据全生命周期治理规范与方案
【备注说明】:企业 完全可以参照上面的文件去进行查缺补漏,看本企业在数据治理工作中还缺少哪些文件。