供应链 | AI透明化反而伤害消费者？最新MkSc研究揭示监管可解释人工智能(XAI)可能会损害消费者

本文链接：https://blog.csdn.net/weixin_53463894/article/details/146299524

本文讨论了在AI决策应用迅速普及但深度学习算法存在“黑箱”问题的背景下，通过构建双寡头市场模型，探讨可解释人工智能（XAI）的经济学问题、对企业和消费者的影响及监管策略。关键要点包括：

研究背景：AI决策应用普及但存在“黑箱”困境，XAI应运而生，其市场规模预计2030年达210亿美元，而关于XAI经济影响研究较少。
模型构建：构建双寡头市场模型，产品有XAI深度、质量和价格三个属性，企业通过三阶段博弈最大化利润，市场结构分解释主导和质量主导。
无监管XAI：无监管下企业根据质量成本和不匹配成本选择XAI策略，低质量成本时都选完整XAI，适中时高质量企业降低XAI深度获竞争优势。
AI解释与准确性：AI解释与准确性无必然联系，XAI差异化会降低质量差异化，相关实证现象可由此解释。
消费者剩余与企业利润：消费者更偏好完整XAI，但质量成本高时监管应考虑部分XAI差异化，企业与消费者偏好存在三种可能情况。
监管工具：政策制定者目标是最大化消费者总剩余或总福利，有严格XAI、自我监管XAI、XAI下限监管三种政策环境。
核心结论：最优解释深度不一定是1，消费者并非越透明越好，灵活监管优于极端做法。

编者按

最新AI黑箱问题呼唤XAI监管，实现消费者与企业利益平衡之道

本文为Management Science期刊论文，原文信息：

Behnam Mohammadi, Nikhil Malik, Tim Derdenger, Kannan Srinivasan (2024) Regulating Explainable Artificial Intelligence (XAI) May Harm Consumers. Marketing Science 0(0). https://doi.org/10.1287/mksc.2022.0396

原文摘要总结如下：

最新的人工智能（AI）算法缺乏可解释性。可解释人工智能（Explainable artificial intelligence,
XAI）的目标是通过向用户解释AI决策来解决这一问题。虽然普遍认为要求完全透明的XAI可以提升消费者剩余，但我们的论文对此观点提出了挑战。我们构建了一个博弈论模型，在一个拥有异质消费者偏好的双寡头市场中，政策制定者的目标是最大化消费者剩余。该模型整合了AI准确性、解释深度和方法。我们的研究发现，在无监管的环境下，部分解释可以构成均衡策略。此外，我们还识别出在某些情况下，消费者和企业对完整解释的需求存在不一致。在这些情况下，强制监管要求完整解释可能并非社会最优，反而会恶化企业和消费者的结果。灵活的XAI政策优于完全透明和无监管的极端策略。

关键词：机器学习；可解释人工智能；人工智能经济学；监管；公平性

关键信息提炼：

【AI新风口：透明不一定越好？】

AI大爆发时代：全球AI投入将突破2040亿美元，营销、细分、定位全面升级！
黑箱困局：深度学习算法“黑箱”特性让人难信，偏见事件频发引关注。
XAI来解围：可解释AI让普通用户也能“看懂”AI决策，市场规模预计2030年达210亿美元。
博弈论视角：论文构建双寡头市场模型，揭示企业如何在质量、价格和XAI解释上博弈。
部分解释的智慧：即使XAI成本为零，企业仍可能选择不完全解释，以遏制竞争、稳住利润。
监管新思路：严格监管可能不利消费者，灵活的自我监管或下限监管更能兼顾市场竞争与消费者福利。

1. 问题背景

近年来，AI决策应用迅速普及。Gartner将AI工程列为2022年十二大战略技术趋势之一，国际数据公司预测，到2025年全球在AI系统上的支出将超过2040亿美元。尽管AI在市场细分、定位和品牌营销中发挥巨大作用，但现代深度神经网络却成了“黑箱”，决策缺乏透明性，引发信任危机（例如性别、种族偏见问题）。Google对女性显示较少高薪职位广告、亚马逊当日达服务避开黑人社区以及数码相机软件难以识别非白人面孔等问题。

为解决这一困境，可解释人工智能（Explainable artificial intelligence, XAI）应运而生，即一类既保持高预测准确性又能向用户提供“玻璃箱”式解释的方法。XAI使得包括非专家在内的用户能够理解并信任AI系统。2021年，XAI市场规模估计为44亿美元，预计到2030年将以18.4%的复合年增长率达到210亿美元。

尽管消费者维权人士呼吁对AI进行监管并推动XAI透明化，但关于XAI对企业和消费者经济影响的研究却寥寥无几。我们的论文探讨了XAI的经济学问题，回答了消费者和企业对于可解释人工智能(XAI)的偏好是否一致，以及政策制定者应如何针对XAI进行监管。

2. 模型

2.1 模型背景

可解释人工智能(XAI)研究的兴起正值全球AI监管环境的不断演进。2016年欧盟推出的《通用数据保护条例》赋予个人对算法决策“要求解释”的权利，这一条款得到了欧洲消费者组织、Facebook/Meta等机构和企业的支持。类似的XAI要求也在法国的《数字共和国法案》和美国的《公平信用报告法》中有所体现。然而，也有人反对这些提案，原因在于对固有解释能力局限、XAI与AI准确性之间权衡以及AI决策是否应比人类直觉受到更严格审查的担忧。除了上述论点外，企业拒绝采用XAI还出于其他考虑，比如担心长期来看可能涉及知识产权被窃、竞争对手模仿、容易受到对抗性攻击，或其AI模型缺乏适用的XAI方法。

在描述XAI的经济效用时：

第一个属性是解释的深度（或“复杂性”）。XAI方法可以调节以揭示不同量级的信息（例如决策树中分裂的深度）。我们将企业对XAI深度的选择建模为连续决策，而非仅作是否提供XAI的二元选择。在我们的模型中，消费者从解释深度中获得的效用始终是递增的。
第二个关键属性是解释的方法或格式。解释方法在多个维度上可能存在差异：它们可能基于规则、特征重要性或反事实；解释既可以是文本形式，也可以是视觉形式，并且可以是全局或局部的。

值得注意的是，我们假定AI产品的质量与XAI的深度相互独立。在某些应用中，如自动驾驶车辆和医学影像诊断，产品质量可能依赖于AI模型的准确性。传统观点认为AI准确性与可解释性之间存在权衡，这将挑战AI产品质量与XAI深度的独立性；但最新研究表明，在数据结构化和特征意义明确的情况下，复杂模型（如深度神经网络、提升决策树和随机森林）与较简单、易解释的模型（如逻辑回归和决策列表）之间的准确性差异可以忽略不计。因此，我们的模型刻意不包含XAI与质量之间的直接权衡。

2.2 模型

我们考虑一个双寡头市场，其中两家企业（记作 i = 1, 2）销售具有三个属性的产品：XAI 深度 $\xi_i \in [0,1]$ 、质量 $q_i \ge 0$ 和价格 $p_i \ge 0$ 。产品属性均对消费者可观察。无需失一般性，假设企业1为高质量企业，而企业2为低质量企业（即 $q_1 \ge q_2$ ）。质量的二次成本为 $\beta q_i^2$ 。我们采用基于特征的方法对消费者偏好建模，消费者在质量估值（支付意愿）上存在异质性，用参数 $\theta$ 表示，服从均匀分布并归一化至 $[0, 1]$ 。消费者 j 从企业 i 产品的质量获得的效用为 $\theta_j q_i$ ；所有消费者对价格的偏好一致，因此购买企业 i 产品的（负）效用均为 $p_i$ 。产品的第三个组成部分是企业提供的关于其 AI 决策的解释，其流动效用记为 $u_{{ij}}^e$ 。我们将 $u_{{ij}}^e$ 表示为企业 XAI 方法 $e_i$ 、XAI 深度 $\xi_i$ 与消费者解释偏好 $x_j$ 的函数。总体上，消费者 j 从购买企业 i 产品获得的效用为
$u_{ij}=V+\theta_j q_i-p_i+u_{ij}^e(e_i,\xi_i,x_j)$
其中，V为消费者保留效用。

举例说明：在寻找汽车保险时，消费者 A 收到报价120，并附有解释：“由于你所在社区盗窃事件比城市平均高18%，你的保险报价比城市平均$100高出约 20%”，使其感到满意；而消费者 B同样报价$120，但解释为“因为你所在社区盗窃事件比城市平均低 4%”，令其不满。如果解释换成其他因素（例如“无保险家庭增加碰撞风险23%”），则会让消费者 B 满意。

企业即使拥有相同的基础 AI 模型（故具有相同的准确性或质量），也可选择不同的 XAI 深度 $\xi_i$ 和方法 $e_i$ 。在基准模型中，我们假设企业间的 XAI 方法一致，即 $e_1 = e_2 = 0$ 。我们假定消费者在特征空间中的分布使得其与 XAI 方法的距离服从均匀分布，即 $x_j \sim U[0,1]$ 。因此，基线模型中 XAI 的效用表示为
$u_{ij}^e(e_i,ξ_i,x_j)\equiv t(1−ξ_i)∣x_j−e_i∣^{e_1=e_2=0}→ t(1−ξ_i)x_j$
这里，消费者在特征空间中位置固定；XAI 深度 $\xi_i$ 决定了解释“多少”特征点，XAI 方法 $e_i$ 决定了解释“哪些”特征点，而消费者异质性 $x_j$ 则反映了其固定位置与最近被解释点之间的距离。

企业 i 的利润为 $\pi_i = p_i d_i - \beta q_i^2$ ，其中 $d_i$ 表示其市场份额。考虑到现有先进、与模型无关的 XAI 算法（如 SHAP 和 LIME）可免费开源使用，XAI 的技术成本为零。企业通过一个三阶段博弈最大化利润：第一阶段选择个性化水平 $\xi_1, \xi_2$ ；第二阶段选择质量水平 $q_1, q_2$ ；第三阶段设定价格 $p_1, p_2$ 。

采用逆向归纳法求解：首先从第三阶段的价格 $p_1, p_2)$ 开始，然后是第二阶段的质量 $q_1, q_2)$ ，最后是第一阶段的 XAI 深度 $(\xi_1, \xi_2)$ 。采用三阶段博弈是因为，价格比质量在短期内更灵活，而产品质量（例如 AI 模型的准确性）也比 XAI 策略更灵活。因此，早期阶段决策可视为企业的长期策略，而后续阶段则涉及较短期的决策。各阶段企业均同时作出决策，这个完美信息博弈意味着每家企业在任何时刻都了解至今为止的所有博弈历史。

考虑到企业在质量和 XAI 深度上的差异化，市场结构可呈现为解释主导或质量主导。当解释不匹配成本 $t$ 较小时，消费者在质量偏好上更具异质性，需求更可能依据质量偏好分割，我们称之为质量主导市场；而当 $t$ 较大时，消费者在 XAI偏好上更为分散，需求则可能依据解释分割，我们称之为解释主导市场。

3. 研究结果

3.1 无监管XAI

为研究无监管情形并使我们的结果具有解析可行性，我们将质量选择限定为 $q_i\in\{q_l, q_h\}$ （记作 $\Delta q=q_h-q_l$ ）。不失一般性，固定企业1为高质量企业。我们考虑两个感兴趣的参数空间

第一种区间，两家企业在均衡中均选择了完整XAI深度， $\xi_1^*=\xi_2^*=1$ ，因此在XAI上没有差异。
第二种区间，一家企业（高质量企业）在均衡中选择了低于完整XAI深度， $\xi_1^*<1, \xi_2^*=1$ ；因此，两家企业在XAI上存在差异。

无论在均衡 (a) 还是 (b) 下，企业在第二阶段都选择了质量差异化，以减弱价格竞争，从而提高双方利润；企业收入均随着质量差异的增大而增加。加入第一阶段XAI深度的选择后，不改变企业在质量上追求最大差异化的激励。当企业可以在两个维度上（质量和XAI）实现成本为零的差异化时，它们倾向于在“主导”维度上差异化。
在低 t 情形下，由于解释失配成本较低，消费者主要关心质量，因此质量成为主导维度，企业均会选择完整XAI（均衡 (a)）；
当 t 较高时，XAI成为一个重要的竞争维度，企业可能通过降低自身XAI深度来获得竞争优势，从而出现差异化XAI的均衡 (b)。进一步比较两种均衡下的企业利润，可以看出：

高质量企业在均衡 (b) 下因降低XAI深度而获得的额外竞争优势，使得低质量企业获得更多需求和收入，从而使得高质量企业利润相对更低。
这种逆向的XAI差异化有助于维持第二阶段的质量差异化均衡，防止市场陷入完全竞争（零利润）局面。

在无监管情况下，企业可以根据外生参数质量成本β和不匹配成本 t的不同，选择两种不同的XAI策略：

当质量成本较低时，企业都选择完整XAI，市场仅在质量上实现差异化；
当质量成本适中时，高质量企业通过降低XAI深度获得竞争优势，形成部分XAI差异化，从而维持质量差异化均衡并防止零利润局面。

3.2 AI解释与准确性之间的相关性

AI产品的准确性通常是其质量的关键决定因素。业界实践者常担心，AI解释会暴露出底层AI模型的“秘密武器”，从而使竞争对手能够利用这些解释推断出优秀的模型设计，进而提升自身的AI准确性。实证研究者可能会寻找某家企业提高解释水平的实例，并观察竞争对手是否同时改善其AI准确性，这一论点可被用来“反对XAI监管”。然而，本节将讨论为何这一结论可能是错误的。

均衡影响：在命题3.1的两种均衡中，企业收入都随质量差异Δq 增加而上升，但在XAI差异化均衡中，收入增长速度较慢，进而导致企业在质量上内生实现较小差异化。
质量与XAI之间的替代效应：当企业在XAI上实现差异化时，会降低在质量上的差异化；大企业在质量成本上受到更严格限制，而小企业则可以通过降低质量来适应市场。
实证相关性解释：观察到大企业高XAI解释水平与小企业高质量之间的正相关，以及市场平均AI解释水平与质量投资之间的负相关，都可以通过XAI对激励最大化质量差异化的影响来解释，而非因为AI解释直接暴露了“秘密武器”。

4. XAI监管

本节探讨消费者剩余问题，旨在回答消费者是否总是偏好完整XAI，并指出在何种情况下企业与消费者对完整与部分XAI深度存在偏好冲突，以指导政策制定者如何监管企业的XAI深度；随后提出政策制定者可采用的各种监管工具。

4.1 消费者剩余与企业利润

根据Tirole (1988)的理论，当企业选择质量和价格时，消费者不喜欢质量差异化，因为这会削弱企业竞争并提高价格。我们的模型在Tirole (1988)的基础上增加了一个维度（XAI），供企业差异化竞争。但需要探讨的是，增加这一维度后，Tirole (1988)的结论是否仍然成立。计算在命题3.1中的均衡(a)和(b)下的消费者剩余 U，得到：

在无差异化的完整XAI均衡 (a) 下，消费者剩余 U 显然会随着质量差异的增加而减少；
在XAI差异化的部分XAI均衡 (b) 下，消费者剩余 U 不仅受到质量差异的影响，还会因XAI差异而降低。

研究发现：

在两种均衡下，消费者剩余均随着质量差异化的增加而降低，且在XAI差异化均衡下消费者剩余下降更为明显，因而消费者更偏好完整XAI。
当质量成本较高时，为避免完全竞争导致零利润，企业可能形成垄断均衡，此时监管应考虑部分XAI差异化而非强制完整XAI。
当监管者外生强制企业在XAI上进行较大差异化时，可能导致企业在质量上无差异化；消费者在面对质量和XAI差异化时，更偏好企业牺牲XAI以换取更高质量。

考虑企业和消费者的偏好，有以下三种可能性：

企业与消费者均偏好完整XAI；由于消费者和企业对完整XAI的偏好一致，无需监管。
企业偏好XAI差异化，而消费者偏好完整XAI；企业和消费者明显不一致，促使政策制定者考虑要求企业达到完整XAI深度。
企业与消费者均偏好XAI差异化；尽管企业和消费者均偏好低于完整XAI，但他们可能对具体水平的偏好不同，因此监管不应要求完整解释。

4.2 监管工具——政策制定者的问题

政策制定者的目标是要么最大化消费者总剩余 U，要么最大化总福利 W（包括消费者剩余和企业利润）。考虑如何设计监管，使企业在一定程度上可以选择低于完整的XAI深度。考虑三种政策环境：

严格XAI：政策制定者设定一个统一的XAI深度，并强制所有企业都采用该深度。
自我监管XAI：行业企业出于潜在政府监管的威慑，自主实施某种自我监管。此时，政策制定者的角色由行业协会替代，其设定一个XAI深度作为指导标准，但企业可选择是否采用该深度。
XAI下限监管：政策制定者设定XAI的最小值，企业在该下限和1之间自由选择XAI深度。政府可以影响市场结构和均衡策略。

核心结论——最优解释深度不一定是1

消费者并非永远只喜欢“越透明越好” 有时允许企业“牺牲一点解释”能促进质量竞争，消费者反而能得到更高品质或更低价格。
企业与消费者偏好并不总一致 企业在考虑利润时，可能选择“部分解释”来与对手做差异化，而消费者则倾向更多信息或更高质量。
灵活监管优于极端做法 严格把XAI固定在1（完全解释）或完全不管（无监管）都不一定最佳；“自我监管”或“下限监管”在很多场景下能带来更高的消费者剩余与社会福利。

5. 总结

本研究深入探讨了XAI监管的复杂性及其对企业竞争与社会福利的影响。核心发现表明，强制完全解释并非最佳监管策略，无论是严格、自我监管还是下限监管下，完全透明的XAI都可能限制企业的差异化创新；而无监管虽然灵活，却无法保证消费者获得足够解释。因此，我们提出灵活的监管策略（如自我监管和下限政策），它们在提升消费者福利方面优于极端政策。未来研究可进一步探讨XAI解释特征、消费者策略行为以及对抗性攻击等因素，为监管策略提供更全面的指导。