文章来源：数据工匠俱乐部
0
从一个曲线图说起
数据可视化只是数据分析中的一步，不是所有。今天，我们从一个数据可视化中典型的指标曲线开始说起。
（图-1：某连锁超市每个月利润率的指标曲线）
如上图，某个业务指标的趋势很容易通过可视化展示出来，但缺憾在于，单纯的可视化不能告诉用户，某个节点指标大幅波动（上涨或下跌）背后的原因是什么。又是什么关键因素引起了这个波动？如果排除一个或多个关键因素后，可能会带来什么变化？
然而这些问题，图-1这样简单的可视化图表无法直接给予用户答案，通常要有资深业务经验的分析师通过大量的分析操作，才能进一步解答。图中数据指的是连锁超市在一段时间内的利润率变化，那么2015年1月利润率的骤降是什么原因引起的？销售时间/周期、地区/门店、品类、送货方式，还是数据集中其他维度？分析师需要对每个维度做分析找原因，倘若品类维度是主要因素，那如何在成百上千个SKU里找到关键影响因子？可能需要分析师逐个排除寻找。
在数据分析技术飞速发展的今天，是否有方式，来加速、简化整个分析过程？或者有没有一种方式可以降低准入门槛，在资深分析师人才短缺的情况下，让更多数据分析师，通过工具能力具备相关技能，加速实现业务目标？
近年来，一个逐渐被大家熟悉的产品能力 —— 自动数据洞察，恰好可以回答上述问题。
1
增强分析与数据洞察
1.1 什么是增强分析 Augmented Analytics
谈自动数据洞察，自然绕不开“AI+BI”以及“增强分析”。AI+BI 是商业智能的发展趋势，但这个趋势并不是全新的概念，已经被提出几年了。但行业一直有一个疑问，AI + BI 在实际业务中是否可行？该如何与业务结合？是否适应中国市场需要？
面对质疑，答案是近年来 BI 领域关键能力“增强分析”的出现和强势发展。
增强分析，指使用低代码的 AI 或 ML 工具，通过自动化方式来协助数据准备、数据分析、分析结果洞察和解释、分享等过程。增强分析可以帮助各类用户发现现有数据中可能被忽视的洞察，并探索新数据，从而增强各类用户在 BI 平台中探索和分析数据能力的方式。
事实上，增强分析并不是指某一种特定的功能，而是让AI能力与BI结合，让更多用户、尤其是业务人员把数据分析用起来。当前行业已认可的增强分析相关产品能力，主要有数据目录、数据故事、自动数据洞察、NLG & NLQ 等等。这其中，自动数据洞察则是目前业务中需求最明确的。
增强分析在中国市场的发展情况如何？据 2022 Gartner 最新的 Hype Cycle 技术曲线，增强分析整体正处于"幻灭的低谷"，但接近于“slope of enlightenment”，很快会迎来曙光，是未来2-5年内重点关注的趋势。
的确，在中国市场 BI 领域在一定程度上仍落后于国际厂商（例如数据目录、数据故事等增强分析能力），但部分能力的发展已经在追赶中，并在逐渐缩小差距。例如，中国主流 BI 厂商基本具备了自动数据洞察的产品能力，不过能否将产品能力转化为业务价值，大部分厂商仍在探索之中。
1.2 什么是自动数据洞察 Automated Insight
自动数据洞察能力指的是通过自动执行数据的相关性、聚类、预测、归因等分析，并提供可解释的结果，从而让业务用户无需具备AI知识和构建能力，即可洞察数据，并叙述发现。
绝大部分业务用户不是统计学大师，更不是算法专家。自动数据洞察基于 AI 能力，利用经过训练的模型，来对数据进行自动分析，让用户无需具备专业知识也能获得分析结果，并排除了不同用户对数据不同理解的干扰。基于自动数据洞察，结合文本解释，提供统一见解。
以本文开篇图-1为例，基于自动数据洞察，可以为用户解读异常点（即利润率在某月大幅下降）背后的关键因素。
基于自动数据洞察能力的分析和解读，可以看到利润率下降的关键因素是与商品品类相关（如[Segment]、[Cateogry]、[SubCategory] ，其中 [Furniture] 是利润率变化的主要因子，排除其影响后，总体利润率变化从下降 30.97% 变为下降 22.07%。这就是数据洞察的作用，可自动提供可解释的结果，即便用户并不是“数据分析专家”。
（图-2：对图-1中异常点的自动数据洞察）
抛开自动数据洞察的优势，其本身也存在一定局限性：虽然为用户直接提供了结果，但无法要求用户理解业务结果。用户可能会产生片面的解读，导致只知其一不知其二。
因此，自动数据洞察和业务场景的结合、用户了解自动洞察生成的方式非常重要。可惜的是当前市场上大多厂商及其产品不能开放配置来让用户理解或定制结果的生成方式。
（图-3：PowerBI - Insights)
2
自动数据洞察介绍
前文介绍了 BI 行业发展趋势中的增强分析，以及增强分析当下最可能对业务产生价值的功能“自动数据洞察”。下面将介绍自动数据洞察的技术实现。
2.1 自动数据洞察的执行过程
一个完整的自动数据洞察链路，通常包括以下主要环节：
找异常：对数值波动的识别，即找到可视化结果中的异常。一般涉及对波动的拆分和对异常点的动态识别，如在预测值上剔除正常波动取异常点；
做分析：对波动数值做归因分析，找出引起异常的关键因素。如对多维度的关键因子分析，对特定维度或组合维度进一步挖掘分析等；
说人话：分析结果的解释和展示，包括结论、指标变化的解读、关键因子的排名及解释等。
2.2 自动数据洞察的技术实现
下表罗列了自动数据洞察常用的技术。大部分 BI 厂商一般会基于其中的一个或若干个技术能力，来提供自动数据洞察产品能力。
关键因子分析 | 自动识别数据集中的关键驱动因素（也称为最重要的属性） 关键因子分析的常用做法：
|
异常探测 | 动态监控业务变化，基于用户角色或业务流程对用户自动预警异常值， 而不是单纯基于阈值的预警。
|
聚类分析 | 对数据集做自动聚类分析。K-means等聚类算法。 |
预测分析 | 基于数据集中的连续变量做自动预测，能够解释后台方法，并显示预测误差。 数据解释中不太需要做未来预测。 |
影响度分析 | 对解释目标进行线性模型拟合，获取各因子的权重值。 |
Data Limits | 分析师配置参与模型计算的变量及其边界的能力。 |
可解释的AI | 自动数据洞察的结果，平台能够自动生成并呈现可被业务用户理解的解读报告。 |
2.3 自动数据洞察的业务场景
自动数据洞察，能帮助用户更好的洞察数据，可以发现数据相关性，可以解释波动背后的关键因素等等。但无论什么样的产品能力，都需要结合可落地的业务，并产出实际业务价值。自动数据洞察也一样，它在 BI 中不是一个孤立的能力，需要结合 BI 平台整体产品，最终为用户的业务场景服务。
要实现自动数据洞察在业务层面的分析，离不开业务专家的输入，最终结果的解读和决策，也离不开业务专家的参与，毕竟业务专家才是最了解业务和实际场景的人 (用户才是业务专家)。
举例一个最常见的，也最简单的业务场景：对于 BI 分析结果中的异常值，进行自动数据洞察，并根据分析结果进行决策，采取行动。
（图-4 业务场景示例）
从这样一个简单的业务场景，来看 BI 整体产品和自动数据洞察，需要具备什么样的能力：
结合 BI 平台的各项功能。自动数据洞察作为 BI 整体产品的一部分，它的使用与落地，一定要与 BI 分析衔接起来。数据洞察本身是对数据分析结果的进一步深入计算和分析，但不仅是分析本身，重点在于能否与 BI 平台整体能力，如分享、预警、推送等功能结合起来，形成完整的业务解决方案。
贴合业务的可配置能力。业务场景千千万，没有一个固定的分析套路可以满足所有的业务场景需求。不同行业、不同维度的分析框架在不同场景下可能完全不适用。那么能让业务用户根据自身场景，对分析策略进行 0 代码配置的能力，成为了自动数据洞察能否取得业务成功的关键要素。
支撑复杂场景的分析深度与灵活度。在一些典型的业务场景中，如经营分析、渠道分析、流量分析等，依靠固定的看板，或者分析师思路，洞察数据相当困难：分析的维度复杂，几十个甚至几百个维度；维度的取值较多，上百甚至上千个SKU；KPI难以直观分析，可视化取值变化最大的不一定是贡献最大的因素；需多个维度的交叉分析，例如同时综合渠道和品类分析；既要成分分析，也要对比分析，例如观察当月的波动情况时，还要和同比环比进行比较分析。
易于理解的解释报告。自动数据洞察生成的分析结果对于业务用户，通常难以理解或解读，那自然也不能直接用于决策。此时则需要分析师或者业务专家的解读，以助力决策者理解分析结果并进行决策。如下图：自动数据洞察给出了影响贡献排名的几个关键维度分析，如“华北”对大盘的贡献度在“地区”维度中排列第一。但着背后最关键的因素是什么，有什么全局的结论，还是不能直接得出，仍需进一步通过分析和解读才能得出结论。因此解释报告是否易于理解，关系到业务分析师以及决策者能否轻松洞察业务结论。
（图-5：火山引擎智能归因的分析结果）
决策或行动的闭环能力。有了易于解读的分析结论，下一步就是基于分析结果做决策。是否能形成决策闭环，是自动数据洞察能否产生持续业务价值的决定性因素。虽说目前市场上大部分相关产品还不完全具备该项能力，但在整体产品技术发展趋势下，也正在逐步完善中。
持续反馈、优化迭代能力。自动数据洞察本身基于 AI 算法能力，因此也没有一劳永逸的算法实现，都需要持续的优化迭代。通过用户对洞察结果输入的持续反馈，AI 算法基于用户反馈自动调优，逐步迭代出更加适合企业特定业务的数据洞察。
3
厂商案例
Tableau - Explain Data
海外厂商 Tableau 自动数据洞察功能叫做“数据解释 / Explain Data”。分析师在编辑视图时运行“数据解释”功能时，Tableau会生成统计模型和可解释的建议。Tableau“数据解释”依托于 Tableau的爱因斯坦服务，背靠强大 AI 能力，应该会有不错的分析效果。但依托爱因斯坦服务的背面是“数据解释”不支持私有化部署，这对国内企业客户并不是很友好。此外，Tableau的“数据解释”目前不支持多维度分析，对复杂的业务场景支持尚有不足。
（图-6：Tableau - Explain Data）
QuickBI -波动原因分析
国内主流云厂商阿里云 BI 产品 QuickBI 的对应功能名为“波动原因分析”。通过机器智能算法自动拆解分析核心指标波动的原因，并拆解维度或度量。QuickBI 的波动原型分析支持业务配置，界面简单，同时支持见解报告生成。不过其分析模型要求维度中必须有“日期类型”字段，也不支持成分分析，因此分析复杂度和灵活度还有增强空间。
（图-7：QuickBI -波动原因分析）
观远数据 - 数据解释
国内创新 BI 厂商观远数据同样提供深层数据洞察功能，在观远数据一站式智能分析平台 Galaxy 中，数据洞察能力被命名为 “数据解释”。该数据解释，可基于业务配置，对数据做成分分析和对比分析，通过找出关键因子、对关键因子做假设分析、对关键因子做二次挖掘等分析，提供深入数据见解，其解释报告的内容可读性也较高。观远数据是一家很早就坚持 AI + BI，并在 AI 能力上已有较深沉淀的公司，至于其数据解释产品功能的效果，让我们拭目以待。有兴趣更多了解观远数据，可以点击文末阅读原文体验DEMO。
（图-8：观远数据 - 数据解释）
4
业务目标才是自动数据洞察最终目的
自动数据洞察最终的目的，不是把数据分析的结果罗列出来，而是通过降低技术门槛、提升分析效率、简化路径等方式，为企业提供能够解决业务问题的洞察见解，并与企业决策链路连接起来。
在中国市场，数据洞察在业务的落地，仍然在摸索阶段。只有功能，没有场景和方案，在国内是落不了地的。如何让业务用起来，可以参照前文的基础场景。构建 BI 整体能力，与业务肩并肩紧密合作，将是未来突破的方向。
●整理了4000字的数据可视化指南！
●SQL优化的魅力
1336
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
