《华为数据之道》读书笔记六---面向自助消费的数据服务建设

六、人人都是分析师

1、从“保姆”模式到“服务+自助”模式

1）“保姆”模式

业务部门只负责提出需求，所有的方案从设计到开发实现，统一由总部完成。如下图

缺点：

        总部开发周期长，通常从需求提出到开发实现，需要多轮次需求解析和澄清。

        无法满足灵活多变的业务要求

2）“服务+自助”模式

        公司总部只提供统一的数据服务和分析能力组件服务，各业务部门可以根据业务需要进行灵活的数据分析消费，数据分析的方案和结果由业务自己完成。

优点：

        （1）数据分析消费周期极大缩短。 当各业务部门需要进行数据分析消费时，可以直接调用已建好的数据服务进行自助分析，整个报表开发周期缩短为1～2天。

        （2）发挥业务运营主观能动性 各业务部门是业务作业的责任主体，同时也对业务及经营结果负责，因此各业务部门是业务运营的第一责任人，同时也是最了解业务自身现状与问题的。通过自助模式，可以更有效地发挥各业务部门的主观能动性，真正将数据分析消费与业务运营改进相结合。

        （3）减少“烟囱式系统”的重复建设。 各业务部门在保证数据分析消费灵活性的同时，并不需要重复构建支撑消费的数据基础，所有公共的数据汇聚、数据联接都统一建设，在遵从隐私保护和安全防护要求的前提下以数据服务的形式充分共享。

2、打造业务自助分析的关键能力

1）针对三类角色提供的差异性服务：

        面向三类角色的分析架构能力，如下图所示：

（1）面向业务分析师，提供自助分析能力，业务人员通过“拖、拉、拽”即可快速产生分析报告

        基于多租户环境，提供数据资产订阅、报表作品搜索、服务订阅等能力。

        实现从数据查询到数据拖拽式分析的端到端的一站式自助作业，增强数据即席查询和数据建模等功能。

        提供数据搜索、数据获取、自助分析、数据消费等一站式自助分析服务，缩短报表开发周期。

        支持租户管理、工具集管理、日志管理功能，集成数据底座权限模型，提供稳定的分析环境。

（2）面向数据科学家，提供高效的数据接入能力和常用的数据分析组件，快速搭建数据探索和分析环境

        集成数据可视化、数据建模能力，降低数据分析门槛，提高平台的易用性。

        识别公共诉求，提供R Studio、Zeppelin等工具集，增强NLP基础服务、人工智能等分析装备对于机会点的支撑能力，支撑各种大数据分析应用场景。

        提供源系统到分析平台的数据实时同步功能。

        为数据科学家提供数据目录导航入口。

        提供数据分析环境，支持权限申请和计算资源的分配，缩短建模周期。

（3）面向IT开发人员，提供云端数据开发、计算、分析、应用套件，支撑海量数据的分析与可视化，实现组件重用。

        整合数据接入、数据计算、数据挖掘、数据展现等能力，提供高效、安全的数据集成、数据开发、报告开发、数据管理等服务，减少重复建设，实现组件重用。

        整合第三方资源，依托HIC能力通道，提供自助、按需、在线的基础数据服务，包括分布式处理、实时处理、内存计算等。

3、以租户为核心的自助分析关键能力

1）多租户管理能力

        租户是指把数据、分析工具、计算资源有机组合的工作环境，用户可以在租户内自助完成数据搜索、数据加工、在线分析、报表共享等工作。

        多租户技术也称多重租赁技术，是一种软件架构技术。多租户技术可以实现多个租户之间共享系统实例，同时也可以实现租户的系统实例的个性化定制。通过使用多租户技术可以保证系统共性的部分被共享，个性的部分被单独隔离。例如，按国家设定不同租户，这样在本租户内共享该国的经营分析结果，共同进行异常分析和经营改进；同时，该租户数据对其他国家屏蔽，避免了数据扩散等安全风险。

        在多租户建设中，相对于技术层面的解决方案，租户管理的职责需要在企业里建立共识，将共识以标准规范的形式固化下来。租户自助分析能力架构如下图所示。

租户的4个关键角色如下所示：

        租户Owner：租户管理的第一责任人，由公司正式任命的管理者或者变革项目经理担任，是租户内数据消费的总责任人。

        租户管理员：由租户Owner指定并授权，是对租户内资产、用户、报告的日常维护、配置、授权承担具体管理职责的人员。

        查看者：申请并被允许加入租户，只对租户内的报告有查看权限的租户用户。

        分析师：申请并被允许加入租户，对数据资产可执行申请数据入租户、申请租户授权、通过分析工具分析数据、制作报告、查看报告、分享报告等操作的租户用户。

2）数据加工能力

        用户可将多个数据进行关联，构建自己的宽表，可对宽表进行数据过滤，选择合适的字段以及增加计算字段，如下图所示。

3）数据分析能力

（1）即席查询：

        提供通过筛选条件展示结果数据的能力。

        提供生产环境的实时数据内容，有助于用户通过筛选后的结果数据判断能否满足最终的分析需求。

        分析结果支持以文件服务器的方式下载，满足本地化处理的需求，同时避免数据被过度共享。

（2）可视分析:

        查看已授权并加工好的数据的详情，进入可视化分析阶段，充分利用企业现有的分析工具，或打通主流的商业分析工具，减少开发成本，降低学习成本

        数据打通，已授权加工后的数据可以直接进入分析工具进行分析操作。

        最大程度利用各种分析工具的已有功能。

4）自助分享能力

        基于自助分享能力，可以对分析报告进行密级设定和权限管理，向租户个人或者群体分享报告，不仅可以分享给本租户内指定的用户，而且可以进行跨租户分享。这样一方面可以扩大报告的使用范围，降低报告重复建设过程中的成本，另一方面也有助于解决分析结果不一致的问题。

        对报表提供浏览和编辑能力，查找需要浏览的报表，选择查看、编辑、分享、删除功能。

        提供对生成的报告定义密级的能力，报告生成者作为报告的Owner，定义密级和管控分享范围。

[备注说明]很多企业当前数据分析应用还处于保姆级模式，业务部门把需求提给信息化部门，信息化部门从需求分析、方案设计、开发实施、数据核对测试、应用发布等所有工作都是信息化部门来实现，搞的信息化部门特别的累，而且工作过程中四于不懂业务往往设计的东东和业务需要的是两张皮，导致开发设计工作要经历反反复复的沟通，开发时间很长，造成业务抱怨信息化需求开发落地时间周期长，无法及时响应需求。信息化抱怨业务需求不明确、清晰导致反复沟通浪费时间。“服务+自助”模式是企业数据应用分析的必然趋势，信息化负责发布数据服务，业务根据数据服务进行自身应用需求的开发设计。这里面涉及两个重要的东东，一个是平台支撑，企业必须有支撑数据服务开发流程的平台，即上面所说的多租户共享平台。业务可以在这个平台上来进行数据应用的开发设计，而且要求平台满足不同业务对象的操作需求，业务分析员通过拖、拉、拽就可以实现报表、可视化分析的快速制作 。这个是最初级的要求，在这个基础上可以提供AI、数据挖掘组件给数据科学家进行数据分析支撑。其实现在很多的数据应用工具都是以多租户模式存在的。都是可以满足这些需求的。