华为数据之道-读书笔记6

面向“自助消费”的数据服务建设

一、数据服务：实现数据自主、高效、复用

1、什么是数据服务

       数据服务是基于数据分发、发布的框架，将数据作为一种服务产品来提供，以满足客户实时数据需求，它能复用并符合企业和工业标准，兼顾数据共享和安全。

1.1 数据服务给企业带来的价值

• 保障“数出一孔”，提升数据的一致性；
• 数据消费者不用关注技术细节，可以满足不同类型的数据服务需求；
• 提升数据敏捷响应能力。数据服务一旦建设完成，并不需要按照使用者重复构建集成通道，而是通过“订阅”该数据服务快速获取数据。
• 满足数据灵活多样的消费诉求。数据服务提供者并不需要关心用户怎么“消费”数据，避免了供应方持续开发却满足不了消费方灵活多变的数据使用诉求的问题。
• 兼顾数据安全。所欲数据服务的使用都可管理，数据提供方能够准确、及时地了解“谁”使用了自己的数据。

1.2 数据服务建设策略

       数据服务建设策略

• 要制定数据服务建设的方法，确保每个从事数据建设的人都明白数据一致性的要求，并且所提供的数据是可信的和清洁的。
• 要简历数据服务流程，以确保各个环节的有效协同，定义整个生命周期中每个角色的责任和有效输出。
• 构建统一的数据服务能力中心，负责数据服务建设方法、规范、流程的落地。

       数据服务应为各个供应商梳理统一标准

• 数据服务要满足可重用性、减少数据“搬家”
• 服务提供方在规划服务时应明确服务的用户是谁，并针对用户的场景和需求进行服务设计，同时定义SLA服务水平承诺。
• 应用只能通过服务接口向其他应用开放其数据和功能，服务接口要稳定，应用间的通信业必须通过这些服务接口进行。
• 所有服务需在统一的服务管控平台中进行注册和发布。
• 应根据不同场景选择合适的服务化框架粒度。

2、数据服务生命周期管理

       完整的数据服务生命周期包括服务识别与定义、服务设计与实现、服务运营三个主要阶段。

• 服务识别与定义：业务与数据握手，识别服务的业务价值、准入条件与服务类型，减少数据服务的重复建设，提升数据服务的重用度
• 服务设计与实现：业务、数据、IT三方协同，使设计、开发、测试与部署快速迭代以实现服务的敏捷交付，缩短数据服务的建设周期。
• 服务运营：通过统一数据服务中心及服务运营机制，保障服务SLA与持续优化。

2.1 数据服务的识别与定义

• 分析数据服务需求：通过数据需求调研与需求对接，判断数据服务类型、数据内容、数据源与时效性要求；
• 识别可重用性：结合数据需求分析，通过数据服务中心匹配已有的数据服务，判断以哪种方式（新建、复用、服务变更）满足业务需求。对于已有数据服务，必须使用服务化方式满足需求，减少数据“搬家”。
• 判断准入条件：判断服务设计条件是否已具备，包括数据owner是否明确、元数据是否定义、业务元数据和技术元数据是否建立链接、数据是否已经入湖。
• 制定迭代计划：根据数据服务需求定制敏捷交付计划，快速满足数据服务需求。

2.2 数据服务的设计与实现

       该阶段，要定义服务契约和数据契约，重点明确服务契约所涉及的服务责任主体、处理逻辑，并以数据契约规范服务的数据格式与数据的安全要求。

• 服务契约：包括服务的基本信息（数据服务提供方、数据服务类型）、能力要求（服务时效性、处理逻辑、安全策略、SLA要求）等
• 数据契约：包括数据契约的描述、输入和输出参数、业务数据资产编码、物理落地资产编码等。

2.3 数据服务的变更与下架

• 数据服务变更管理：服务变更内容（时效性、出入参数、服务处理逻辑、数据安全策略）、服务变更影响（业务连续性影响、变更成本影响）。
• 数据服务下架管理：两种情况，一种是服务消费方主动提出的数据服务下架申请，即“自主下架”；另一种是通过运营度量策略判断需要下架的数据服务，即“被动下架”。

3、数据服务分类与建设规范

3.1 数据集服务

       定义：消费者是“访问”某个相对完整的“数据集”，这种消费方式称之为“数据集服务”。

       主要特征：由服务器提供方提供相对完整的数据集合，消费方“访问”数据集合，并自行决定接下来的处理逻辑。

       建设规范：

• 允许将数据湖的同一个业务对象内的一个或多个资产封装为数据服务；
• 允许将数据湖内单个资产及其关联主数据合并封装为数据服务；
• 不允许将数据湖中跨业务对象的多个资产合并封装为一个数据服务。

3.2 数据API服务定义

       数据服务的另外一类消费者是“IT系统”，即面向某个IT系统提供数据事件驱动的“相应”。

4、打造数据供应的“三个1”

       数据服务应拉动数据供应链条的各个节点，以方便用户能准确地获取数据为重要目标。

• 1天：对于已发布数据服务的场景，从需求提出到消费者通过服务获取数据，在1天内完成；
• 1周：对于已进底座无数据服务的场景，从需求提出到数据服务设计落地、消费者通过服务获取数据，在1周内完成；
• 1月：对于以结构化但未进底座的场景，从需求提出到汇聚入湖、数据主题联接、数据服务设计落地、消费者通过服务获取数据，在1个月内完成。

二、构建以用户体验为核心的数据地图

1、数据地图的核心价值

       华为数据地图（DMAP）基于元数据应用，以数据搜索为核心，通过可视化方式，综合反映有关数据的来源、数量、质量、分布、标准、流向、关联关系，让用户高效率找到数据，读懂数据，支撑数据消费。数据地图为如下四类 关键用户群体提供服务：

• 业务分析师：通过对数据的识别，借助数据分析工具，生成可供阅读的图表或仪表板，使用分析结果识别问题，支撑决策。对数据可信度、业务含义、数据定位有强烈诉求。
• 数据科学家：采用科学方法、运用数据挖掘工具对复杂异构的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识，并能进行新的数据洞察的工程师或专家。对业务含义、数据关系有强烈诉求。
• 数据管家：公司数据管理体系专业人员，负责协助数据owner对数据信息架构进行管理，包括定义责任柱图、密级/分类，为数据安全管理提供重要输入。通过信息架构设计，统一业务语言，明确管理责任，设定数据质量标准，拉通跨领域信息流，支撑运营和决策。对数据质量、信息架构、数据关系有强烈诉求。
• IT开发人员：企业数据仓库开发人眼，通过对物理表进行定位、识别和ETL，创建满足业务分析师或应用平台所需要的模型或维表。对数据进行定位、数据关系有强烈诉求。

2、数据地图的关键能力

• 数据搜索：可以提高用户的搜索准确度，使用户能快速理解搜索出来的数据内容，通过组合搜索、筛选分类，数据标签等持续提升用户体验。
• 排序推荐：让用户更容易找到高质量、可消费的数据资产，缩小搜索结果集范围，减少数据识别和判断的时间，最终目标是让用户实现“所搜即所得”的效果。
• 数据样例：读懂数据是用户进行数据消费的基础，用户只有读懂数据，才可以准确判断数据来源、质量、可信度等关键信息。
• 资产/用户画像：资产/用户画像通过标签化的手段来对资产和用户进行清晰地描绘，有助于数据搜索和推荐排序的不断优化，贴近用户真实需求。

三、人人都是分析师

1、从“保姆”模式到“服务+自助”模式

       公司总部只提供统一的数据服务和分析能力组件服务，各业务部门可根据业务需要进行灵活的数据分析消费，数据分析方案和结果由业务自己完成。

• 数据分析消费周期极大缩短
• 发挥业务运营主管能动性
• 减少“烟囱式系统”重复建设

2、打造业务自主分析的关键能力

2.1 针对三类角色提供的差异性服务

• 面向业务分析师，提供资助分析能力，业务人员通过“拖、拉、拽”即可快速产生分析报告。
• 面向数据科学家，提供高效的数据接入能力和常用的数据分析组件，快速搭建数据探索和分析环境。
• 面向IT开发人员，提供云端数据开发、计算、分析、应用套件，支撑海量数据的分析与可视化，实现组件重用。

2.2 以租户为核心的自助分析关键能力

• 多租户管理能力：多租户技术也称为多重租赁技术，是一种软件架构技术；可以实现多个租户之间共享系统实例，同时可实现租户的系统实例的个性化定制。
• 数据加工能力：用户可将多个数据进行关联，构建自己的宽表，对宽表进行数据过滤，选择合适的字段以及增加计算字段。
• 数据分析能力：基于消费场景，利用租户内授权的数据资产，通过分析工具对数据进行分析并生成可视化报告。
• 自助分享能力：基于自助分享能力，对分析报告进行密级设定和权限管理，向租户个人或者群体分享报告。

四、从结果管理到过程管理，从能“看”到能“管”

1、数据赋能业务运营

       业务数字化运营目的是支撑业务运营作战模式转变，提升运营效率。业务数字化运营要发挥对业务指挥作用，能够上下同步感知业务运行态势，通过分工协作解决业务运作中的问题，提升运作效率。

• 满足业务运营中数据实时可视化的需求
• 满足业务运营中及时诊断预警的要求：通过分析平台规则引擎，帮助业务提前感知业务问题、自动预警潜在风险，从而有效支撑业务的快速响应。
• 满足业务运营中的复杂智能决策的需求：通过数据分析模型中对数据底座中的海量数据进行挖掘，智能分析业务问题本质，洞察趋势并推荐方案，从而支持业务的客观、精准决策。

2、数据消费典型场景实践

       华为公司通过5个步骤来管理从需求到自助分析的过程，包括业务需求提出、数据解析、数据搜索和获取、数据服务提供、自助报告设计和展示。