PNAS：大脑是如何计算主观价值的？

文章来源于微信公众号（茗创科技），欢迎有兴趣的朋友搜索关注。

导读

决策是基于选项的主观价值。然而，主观价值是一个理论建构，不能直接观察到。不同的理论模型争相解释大脑是如何将主观价值分配给不同的选项的，但是做出的行为预测却非常相似，这就给建立一个生物学上可信的、仅基于行为决策的解释带来了很大的困难。本研究发现，额叶皮层区域可实现一个基于获得价值的统计分布模型，而顶叶皮层和纹状体则根据表征率失真来计算主观价值信号。因此，对认知过程如何实现更好的机械性理解（形而上学）来自于神经层面的模型比较，而不是局限于行为层面来比较模型的传统方法。

前  言

心理学、经济学和其他社会科学竞相发展出模型和理论来解释我们如何做出选择。然而，选择一个最能解释行为的模型的能力是有限的，因为不同的模型经常对行为做出相似的预测。因此，仅根据行为数据其实很难区分不同的模型。为了说明这一点，一项具有里程碑意义的研究采用了11种不同的主观评估模型来评估参与者在不同彩票之间的选择，试图找出最能代表每个参与者偏好的模型。尽管不同的模型能够较好地解释个体层面的行为，但在该研究的两个实验数据集上，这些模型对超过90%的决策做出了相同的预测，这表明这种预测相似性是普遍的。此外，这些模型选择上的困难并不局限于基于价值的决策领域，也出现在行为研究的各个领域，如学习、记忆和知觉。通过神经科学数据来选择模型的过程是解决这个问题的一个可行性方案。

计算和决策神经科学旨在描述实现认知功能的神经机制，并检验现有的行为模型是否能够准确地描述神经过程。本研究通过测试大脑活动是否可以直接用于比较和选择具有相似行为预测的相互竞争的理论来解决这个问题。也就是说，即使不同的理论做出了相似的行为预测，并识别出了相同的大脑区域，不同的理论对这些区域的神经计算是否会有所不同？通过神经层面上的模型比较，本研究首先将不同模型拟合到行为数据中，然后使用行为最佳拟合模型来分析神经数据。这一过程的可行性，也决定了其是否适用于行为、认知和临床神经科学的其他领域，这些领域使用计算模型来解释强化学习、知觉决策和精神障碍等功能。

研究者在基于价值的决策背景下进行了模型比较，并观察了参与者在不同数量和概率的彩票之间进行选择的情况。这些彩票是专门设计用来区分不同选择偏好模型的。研究者比较了三种主要的决策理论：①期望效用理论(EU)；②前景理论(PT)；③均值-方差偏差模型(MVS)，它们都与风险决策是基于对风险选择方案的主观价值分配观点一致。EU理论提出，选择偏好可以通过客观概率，对结果的概率加权主观价值(效用)进行表示。与EU一样，PT也采用了一种将结果的主观价值与概率加权的机制。而MVS模型表明，选择偏好可以由结果分布的单独加权汇总统计量的线性组合表示。因此，这些模型的主观价值计算和隐含过程是不同的。

实验程序

参与者：共有31名健康参与者(20名女性)参加了本次研究，右利手，视力正常或矫正至正常视力，无精神障碍史。其中有4名参与者的数据因为各种原因被排除在外。因此，最终样本量包括27名参与者(17名女性，年龄为28.3±5.0岁)。

实验任务：参与者在核磁共振扫描仪中完成一项风险决策任务。每个试次开始时，两张彩票以饼图的形式呈现在屏幕上，参与者必须决定他们更喜欢哪种彩票。对于每张彩票，都有两种可能的结果，每个结果旁边的阴影部分表示相关的概率(每个阴影格子表示10%的概率)。本文的重点不是证明研究者的范式在区分基于价值的决策模型方面优于其他范式，而是为了展示一种行为和神经成像数据建模的方法，以增强对这些实验范式的理解。考虑到率失真以及不同的方差和偏斜度来评估MVS偏好。要求参与者通过按钮框上的左或右按钮来做出决定，最多允许5s的时间来做决定。共有180个决策试次，另外45个试次，即时间延长的注视点分散在彩票试次之间，持续5.5s。这些无效试次有助于提高实验设计效率。实验任务使用Cogent 2000工具箱(版本1.32)和Matlab R2010b (MathWorks Inc.)编写。

行为模型：对于所有的试次，研究者所描述的彩票和拟合模型如下。用x= (x1，p；x2，1-p)表示彩票抽奖，其中x1＞x2，x的结果x1的概率用p表示，x2的概率为1-p。对于每个参与者，使用以下模型指标估计EU、PT和MVS的参数。

EU模型：

PT模型：

MVS模型：

fMRI数据的BMS：采用BMS分析评估了三种模型(EU、PT和MVS)的常见主观价值区域(dlPFC、纹状体、岛叶和IPL(状态值)，vmPFC(差异值))。研究者比较了模型并不适用于整个大脑，而只适用于上述三种模型中与状态值或差异值相关的区域。在第一层级贝叶斯分析中，将主观价值的和(状态值)和主观价值的绝对差(差异值)作为参数调制器。使用EU、PT或MVS中的模型和参与者特定的主观值，对神经模型进行了三次估计。在ROI中进行体素随机效应BMS分析。在第二层级中对每个模型进行贝叶斯模型比较。这使得研究者能够计算EU、PT和MVS模型的期望后验概率以及超越概率。

结  果

对于参与者的选择，PT和均值-方差模型具有相似的预测准确率(分别为85和86%)(图1A)。值得注意的是，PT和均值-方差模型在88%的试次中预测了相同的选择(图1B)，这是因为PT的损失厌恶参数与均值-方差模型的方差系数之间存在显著的相关性(图1C；ρ=－0.77，P < 0.001)。因此，任何与PT决定的损失厌恶相关的神经区域也可能与均值-方差模型决定的方差系数相关。EU在63%的试次中准确预测了选择。EU的选择预测与PT和均值-方差模型的相似性也很大(分别为66%和68%)。通过神经层面上的模型比较，有助于深入了解大脑是如何计算主观价值的。研究者采用了Tom等人(2007)研究中的实验任务(图1D)，该任务包含了很大范围的概率、方差和倾斜，考虑到率失真(PT)和方差偏斜度参数对期望效用理论的影响。研究者使用最大似然估计将EU、PT和MVS模型拟合到参与者的行为选择上。在群体层面，EU模型预测参与者选择的准确率为68%，PT模型预测准确率为74%，MVS模型预测准确率为72%。三个模型对73%的试次做出了相同的选择预测。

 图1.Tom等人(2007)数据的模型准确性和相似性以及实验任务设计。

为了进一步评估模型的相似性，研究者使用了每个参与者的EU、PT和MVS模型拟合的最佳参数，并在个体水平上计算了每个彩票的主观价值。每个模型预测的基本主观价值具有很强的相关性，斯皮尔曼的ρs为0.66至0.97(所有ρs<0.001；图2A-C)。根据每个模型计算了所有彩票的排名。当考虑选项排名时，不同模型的相似行为预测变得更加明显(斯皮尔曼ρs为0.89至0.98；Ps<0.001；图2D-F)，这表明，如果考虑选项的排序来驱动选择，三个模型预测的偏好几乎相同。

图2.EU、PT和MVS模型的主观价值与排序的相关性。利用EU、PT和MVS模型的最佳拟合参数值，计算了在任务期间向参与者呈现的每个彩票的主观价值。

研究者对每个模型的全脑集群误差校正簇图像计算了三个模型的交集图像，该程序识别了右侧背外侧前额叶皮层(dlPFC)和双侧脑岛(图3A)、延伸至丘脑的纹状体(图3B)和右侧顶叶内小叶(IPL；图3C)。因此，无论采用哪种行为模型来计算主观价值，这些区域都在选项呈现时编码主观状态值，说明不同的行为预测模型具有相似的行为预测结果，反映主观价值的大脑活动也相似。研究者在内侧眶额和前扣带皮层发现了一个所有模型都共有的大簇，这里将它们统称为腹内侧前额叶皮层(vmPFC；图3D)

 图3.主观价值编码与EU、PT和MVS模型相同。

接下来，研究者旨在通过神经水平上的模型比较，确定这些常见脑区在进行主观价值计算的脑机制。采用贝叶斯分析来量化支持三个模型的证据。研究者从交叉的主观状态值区域(如纹状体、dlPFC、岛叶和IPL)和交叉的主观值差异区域(如vmPFC)构建了ROIs。dlPFC中与状态值相关的活动用MVS模型来解释最好(图4A)，超越概率(即，这个模型比其他两个模型更好地解释了潜在的神经活动；图4B)为0.96。相比之下，对于纹状体和IPL激活用PT模型来解释最好(图4C-F)，超越概率分别为1.00和0.98。这三种模型对于脑岛的活动的解释都不太令人满意(图4G-H)。这些数据表明，在主观状态值编码过程中，dlPFC和IPL/纹状体之间存在明显的分离。鉴于这两个模型的特征理论元素，dlPFC似乎主要以彩票引起的汇总统计形式对主观价值进行编码，而IPL和纹状体则通过将结果的主观价值及其概率失真进行加权。研究者还评估了主观价值差异区域，即决策时的vmPFC活动(图5A)，结果发现在vmPFC中，MVS模型显著优于PT和EU模型。MVS的超越概率为0.96(图5B)。

图4.编码主观状态值区域的贝叶斯神经模型比较。

图5.在进行决策时，编码主观价值差异区域的贝叶斯神经模型比较。

结  论

在神经水平上的贝叶斯模型比较揭示了三种模型对这些区域如何计算主观价值的不同解释。在dlPFC，纹状体和IPL这些脑区，MVS和PT模型似乎比EU理论更能解释主观价值的神经编码。与神经数据的模型比较可能就像与行为数据的模型比较一样具有不确定性或模棱两可。因此，这种方法不应该被理解为相关行为模型问题的唯一解决方案。当然，在神经水平上的模型比较可能为选择过程的生物学上提供一个更现实的视角。总的来说，本研究揭示了大脑是如何通过在神经层面上进行模型比较来计算主观价值的，以及不同脑区执行不同的主观价值计算模型，这可能有助于理解基于价值决策的神经生物学基础。

原文：Testing models at the neural level reveals how the brain computes subjective value.

https://doi.org/10.1073/pnas.2106237118