《大数据之路：阿里巴巴大数据实践》读书笔记---第四篇数据应用篇

本文链接：https://blog.csdn.net/luomingkui1109/article/details/108537992

四、数据应用篇

16.数据应用

本篇主要介绍两个应用：提供给外部商家使用的数据产品平台-生意参谋和服务于阿里巴巴内部的数据产品平台

16.1 生意参谋

作为大数据公司，阿里巴巴在推动业务数据化的同时，也在不断地帮助商家实现数据业务化。在对外产品方面，阿里巴巴以“生意参谋”作为官方统一的数据产品平台，为商家提供多种多样化，普惠性的数据赋能；

截止2016财年，生意参谋累计服务商家已超过2000万，越服务商家超过500万。在月成交额30W元以上的商家中，逾90%每月登陆天次超20次；

16.1.1 背景概述：

生意参谋生于2011年，最早是应用于阿里B2B市场的数据工具，2013年进入淘系；

当时阿里淘系数据产品多达38个，不同产品的统计方式不同，相同指标在不同产品中数据也有所差异，这给商家带来不少困扰；

为了保证用户体验，从2014年起，依托阿里内部的OneData体系建设的、在数据一致性方面更有优势的生意参谋陆续整合量子恒道、数据魔方等其他数据产品，并在2015年底升级为官方统一的商家数据产品平台。由此，商家只要通过生意参谋一个平台，就能体验统一、稳定、准确的官方数据服务；

产品整合时，保留其核心功能的同时，对其进行优化，同时不断拓展新平台的服务能力和服务范围。在整合量子恒道时，同步推出大促活动看板、实时直播大屏幕、自助取数等重要功能；

在整合数据魔方时，推出功能定位相似的“市场行情”，还同步上线数据作战室这款风靡众多高端商家的大促直播利器...

生意参谋产品理念图

2016年为了进一步满足商家数据需求，阿里门户、数据内容、产品形态三个方面对生意参谋进行全面升级；

在门户方面，首页支持多岗多面、多店融合，商家可以根据不同岗位需求，选择页面中出现哪些数据；在数据内容方面，加强商家中后台数据突破，新增服务、物流等环节的数据服务，进一步满足商家全渠道、全链路的数据需求；在产品形态方面，更注重深度分析、诊断、建议、优化、预测；

16.1.2 功能架构与技术能力

功能架构与技术能力

阿里数据中台顶层设计图

16.1.3 阿里中台视角的生意参谋全景图

16.2 对内数据产品平台

在阿里内部，数据分析是基本所有员工的必备技能之一，本节主要介绍阿里对内数据产品的由来、整体架构，以及他时如何有效支持验工日常工作的；

16.2.1 定位

数据产品的本质是产品，既然是产品，那么首先要回答的是用户是谁？用户的痛点是什么？对于企业内部的数据产品，他的用户是公司的员工，包括销售、BD、运营、产品、技术、客服、管理者等多种角色；

解决的痛点是用户对业务发展中的数据监控、问题分析、机会洞察、决策支持等诉求，提供给用户高效获取数据、合理分析框架、数据辅助业务决策的价值；

在阿里内部，针对不同业务，不同层级的用户、不同的使用场景，会有不同的数据需求，需要对不同业务、不同使用场景的数据需求进行高度抽象，同时又要深入业务场景，规划设计出既要拓展性强的，又要开发效率高的数据产品；

16.2.2 产品建设历程

1.临时需求阶段

时间回溯到2003年左右，当时大数据的概念还没兴起，数据化运营还未被提及，用户对数据的诉求也很简单，既获取业务现状的基本数据。当时还没有数据产品的概念，用户诉求主要以临时取数方式满足，用户需要了解业务基本数据时，提交需求给数据仓库团队，数据工程师通过编写代码，将数据跑好，在给到用户，基本靠人力在做支持。这个阶段逐渐积累数据和业务经验，为后续数据产品的思考和规划积累了丰富的原始需求；

2.V2.0自动化报表阶段

到2006年，随着业务的不断发展壮大，业务对数据的需求越来越强烈，数据工程师“人肉”支持效率太低，已经跟不上业务和时代的发展。基于之前在数据仓库技术、业务支撑方面的经验积累，数据仓库团队将相似的需求合并同类的同时总结提炼，并引入BI工具，通过报表和Dashboaed方式将数据需求固化下来，进而实现自动化；

一次开发可以满足更多用户，除了表格外，还有简单的可视化，不但减少了数据仓库团队的重复建设，提高了用户获取数据的效率，还增强了数据的可读性，让更多人学会使用和分析数据；

当然，严格来说，这个阶段还不算有真正的数据产品，从当时的成本、效益考虑，阿里购买了MSTR工具，后来又升级为BIEE工具，用于报表和集市的制作。为了方便用户找到报表，搭建了数字门户，将报表和集市以业务主题的方式进行组织，数据门户雏形在这个阶段开始出现；发展到后面，用户不断加深对数据价值的认知，需求越来越精细化和多元化，对数据化运营的期待越来越高，单纯的报表监控分析已经无法高效满足当时的用户诉求，而且受限于BIEE工具，拓展性和报表体验难以提升；

3.自主研发BI工具阶段

从2012年底开始自主研发BI工具，当时阿里已经将大部分数据迁移上云，经典的第三方BI工具无法直接介入云上的数据。基于上述两个考虑，快速构建的获取数据的机器人，“快门”和“小站”（尽在阿里内部使用）；

快门寓意是获取数据可以像相机的快门一样快速、便捷；

小站寓意是方便用户搭建出自己或者部门的数据站点；

快门和小站定位是阿里内部的BI工具，快门端同时支持用户标准模式和SQL模式，其中标准模式就是拖拽的方式，主要针对开发好的集市宽表，支持“亿级数据，秒级响应”，用户只需要拖拽再配置简单的COUNT或者SUM就可以快速获取自己的数据了；

SQL模式更灵活，将SQL代码带入进去，即可生成一张报表，同第二阶段自动化报表功能类似；

小站则是把快门的报表和外部的数据或页面，以整体的分析思想、可视化（表格、图标等）和解读（富文本）的方式更好地组织和展示出来；

4.V4.0数据产品平台

2014年包含多种功能，就是你理解的数据平台。

16.2.3 整体架构介绍

数据监控

对于所有的内部普通运营小二，都有查看或分析业务数据的需求，阿里数据平台提供了最基础的报表工具，供用户自助取数、多维分析、DIY个性化数据门户。这块对应的产品主要是我们自主研发的BI工具，同时我们还在研发一款基于Web Excel的BI工具-孔明灯，除了服务内部之外，我们还可以将内部的BI工具能力对外输出给阿里商家和合作伙伴；