导语
自由能原理被认为是“自达尔文自然选择理论后最包罗万象的思想”，从第一性原理出发解释智能体更新认知、探索和改变世界的机制，被认为有可能成为智能的第一性原理的重要候选方案，并有望成为新时代复杂系统的大统一理论。该理论的提出者、理论神经科学家 Karl Friston 2016年被 Semantic Scholar 评为全球十大最具影响力神经科学家之首，h-index 高达 272，科睿唯安将他列为诺贝尔生理或医学奖三大最有可能的获奖人之一。Thomas Parr, Giovanni Pezzulo, Karl Friston 三人合著的《主动推理——心智、大脑与行为的自由能原理》中文版将于近期由机械工业出版社出版。今天的文章节选自《主动推理》一书。
集智俱乐部「自由能原理与强化学习」读书会近期邀请到 Karl Friston 做关于自由能原理主动推理的主题报告，从物理和神经生物学两条道路走向主动推理框架。读书会将于5月31日公开进行，为大家提供Zoom会议号，方便面对面交流，扫描海报中二维码报名，获取提醒和回放通知。也欢迎希望深入探索自由能原理的朋友加入读书会，和我们一起开启自由能之旅！
研究领域：自由能原理，主动推理，马尔科夫毯，贝叶斯定理，生成模型，自组织，自创生
Thomas Parr, Giovanni Pezzulo, Karl J. Friston | 作者
刘林澍 | 译者
内容简介
主动推理架构是对感知行为的一种理解，旨在以概率推理描述知觉、计划和行动。该架构为理论神经科学家卡尔·J.弗里斯顿多年来开创性研究的成果，提供了一个关于大脑、认知和行为的整合性的视角，越来越多地应用于神经科学、心理学和哲学等学科领域。主动推理架构将行动寓于知觉之中。本书首次全面介绍了主动推理架构，涵盖理论基础和实践应用。
作为理解行为与大脑的“第一原则”方法，主动推理架构以最小化自由能为纲。本书强调了自由能原理对理解大脑运行方式的重大意义，介绍了主动推理架构的相关概念和形式体系，并将其置于当前认知科学理论的语境之中，而后以具体实例展示了如何使用基于主动推理的计算模型来解释知觉、注意、记忆和计划等认知现象。
目录
致谢
前言
第一部分
1 概论
1.1 介绍
1.2 生命有机体的持存与适应
1.3 主动推理：基于第一原则的行为
1.4 全书结构
1.5 总结
2 主动推理的底层逻辑
2.1 介绍
2.2 作为推理的知觉
2.3 生物的推理和优化
2.4 作为推理的行动
2.5 最小化模型与世界的差异
2.6 最小化变分自由能
2.7 预期自由能和作为推理的计划
2.8 何谓预期自由能
2.9 关于主动推理的底层逻辑
2.10 总结
3 主动推理的顶层逻辑
3.1 介绍
3.2 马尔科夫毯
3.3 惊异最小化与自证
3.4 推理、认知与随机动力学
3.5 主动推理架构：理解行为与认知的新基础
3.6 模型、策略与轨迹
3.7 在主动推理架构下协调生成论、控制论和预测理论
3.8 主动推理：从生命的涌现到能动性的产生
3.9 总结
4 主动推理的生成模型
4.1 介绍
4.2 从贝叶斯推理到自由能
4.3 生成模型
4.4 对应离散时间任务的主动推理
4.5 连续时间的主动推理
4.6 总结
5 消息传递和神经生物学
5.1 介绍
5.2 微观回路与消息
5.3 运动指令
5.4 皮质下结构
5.5 神经调节与学习
5.6 表征离散变量与连续变量的层级
5.7 总结
第二部分
6 主动推理模型的设计指南
6.1 介绍
6.2 主动推理模型：四步设计指南
6.3 我们在为什么系统建模？
6.4 生成模型最恰当的形式是怎样的？
6.5 如何创建生成模型？
6.6 怎样理解生成过程？
6.7 基于主动推理架构执行数据的模拟、可视化、分析和拟合
6.8 总结
7 离散时间的主动推理
7.1 介绍
7.2 知觉推理
7.3 作为推理的决策与计划
7.4 信息搜集
7.5 学习与求新
7.6 多层（深度）推理
7.7 总结
8 连续时间的主动推理
8.1 介绍
8.2 运动控制
8.3 动力系统
8.4 广义同步
8.5 混合（离散+连续）模型
8.6 总结
9 基于模型的数据分析
9.1 介绍
9.2 元贝叶斯方法
9.3 变分拉普拉斯
9.4 参数经验贝叶斯（PEB）
9.5 基于模型的数据分析指南
9.6 生成模型举例
9.7 错误推理的模型
9.8 总结
10 作为感知行为之统一理论的主动推理
10.1 介绍
10.2 完整梳理
10.3 融会贯通：以整合水平理解主动推理架构
10.4 预测性的大脑、心智和预测加工理论
10.5 知觉
10.6 行动控制
10.7 效用与决策
10.8 行为与有限理性
10.9 效价、情绪与动机
10.10 稳态、稳态应变与内感觉加工
10.11 注意、显著性与认识活动的动力学
10.12 规则学习、因果推理与快速泛化
10.13 在其他领域应用主动推理：一些可能的方向
10.14 总结
附 录
附录A 相关数学背景
附录B 主动推理的数学方程
附录C Matlab代码：一个带注释的例子
注释
参考文献
索引
（目录可上下滑动查看）
第一章 概论
机遇青睐有准备的人。
——Louis Pasteur
1.1 介绍
本章介绍了主动推理架构致力于解决的主要问题：生命有机体如何借助与其所在环境的适应性互动实现持存？我们将探讨从规范性角度回答这个问题的动机：从第一原则出发，进而追问其认知科学与生物科学蕴含。此外，本章简要介绍了全书的结构，包括两大部分：第一部分致力于帮助读者理解主动推理架构，第二部分则致力于帮助读者将该架构应用于自己的研究工作。
2 生命有机体的持存与适应
生命有机体始终处在与其所在环境（包括其他有机体）的互动之中。它们借助行动改变环境并从环境中接受感知刺激，如图1-1所示。
生命有机体只有通过对行动—知觉环路的适应性控制，才能维持自身的完整。这意味着它们要采取行动并接收感知刺激（观察），这些感知刺激要么对应于它们所偏好的结果和目标（对简单有机体，这类感知刺激通常与食物和庇护所有关，对复杂有机体则可能还与社会关系或职业有关），要么有助于它们理解世界（为其揭示周围环境状态）。
借助对行动—知觉环路的适应性控制与环境互动对生命有机体意味着巨大的挑战，这是因为行动—知觉环路具有递归的性质：观察难免受过往的行动影响，进而又改变我们后续行动的决策，后续的行动又产生后续的观察。潜在的控制与适应方案数量巨大，但其中只有很少是真正有用的。但在演化的过程中，生命有机体成功地发展了适应性的策略，并因此得以存续下来。这些策略的复杂程度各不相同，简单有机体的策略相对单一、刻板（比如细菌会游向糖分更高的水域），复杂有机体的策略则要求更高，也更加灵活（比如人类会制订计划，追求远期目标）。这些策略在选择和执行的时间尺度方面也有区别：从（演化时间尺度的）对环境中威胁因素的简单反应和形态学适应，到借助文化与发展习得的行为模式，再到行动与知觉尺度的、通常要求更高的认知过程（如注意与记忆）。*
1.3 主动推理：基于第一原则的行为
这种多样性为生物带来了福音，但对构建大脑与心智的形式理论却构成了挑战。对心智理论大致有两种观点。一种观点是：不同生物的适应性、神经过程（比如突触间的交互与神经网络的运行）和认知机制（像知觉、注意、社会互动）具有高度的特异性，需分别予以专门解释，这就引出了哲学、心理学、神经科学、行为学、生物学、人工智能和机器人学等领域的海量理论，要想将它们统一几乎是不可能的。另一种观点是，尽管表现形式多种多样，生命有机体在行为、认知和适应性方面的某些核心特征可基于“第一原则”做出一致的解释。
这两种观点产生了两条研究思路，在某种程度上又分别映射了认知科学研究的两大“派系”——“简约派”（the neats）和“芜杂派”（the scruffies）（这对称谓来自Roger Shank）。“简约派”致力于超越大脑和心智现象（表面上）的异质性，寻求理论上的统一。他们希望从第一原则出发，设计自上而下的、规范性的模型，并由此衍生出关于大脑和心智的尽可能多的事实。“芜杂派”则拥抱异质性，关注需要专门解释的细节。他们希望从数据出发，设计自下而上的模型，用一切可用的方法解释复杂现象，包括为不同的现象提供不同的解释。
我们有无可能如“简约派”所追求的那样，从第一原则出发解释高度异质化的生物和认知现象？又能否构建起理解大脑与心智的统一框架？
对这些问题，本书给出的答案是肯定的。主动推理就是理解大脑与心智的规范架构，我们将从第一原则出发，逐渐呈现其认知科学与生命科学蕴义。*
1.4 全书结构
本书由两部分构成，分别针对想要理解主动推理架构的读者（第一部分）和想在自己的研究工作中使用主动推理架构的读者（第二部分）。本书第一部分以当前认知理论为背景，展示了主动推理架构的概念与形式体系，旨在为读者提供对主动推理架构的详细的、形式化的，同时也是自洽的介绍：这一架构都有哪些核心概念，以及它对神经科学与认知科学研究而言意味着什么。
本书的第二部分以一些计算模型为例，展示了主动推理架构如何解释诸如知觉、注意、记忆和计划等认知现象，旨在帮助读者理解现有基于主动推理架构的计算模型，并启发他们创建新的模型。简而言之，本书的两个部分分别对应主动推理架构的理论与实践。
1.4.1 主动推理：理论篇
主动推理是一个规范架构，用于描述生命有机体之贝叶斯最优的认知与行为。其规范性体现在：生命有机体认知与行为的方方面面都要遵循一个原则——令其感知观察的惊异最小化。“惊异”这个概念不能从字面意义上来理解，它衡量的其实是主体当前的感知观察与其偏好的感知观察间的差异，而为主体所偏好的感知观察通常关乎身体的完整与生命的维系（比如鱼偏好的感知观察必然是在水中的）。重要的是，单凭被动地观察环境无助于实现惊异最小化，主体必须对其行动—知觉环路施以适应性的控制，由此获得偏好的感知观察。主动推理架构之“主动”就体现于此。
惊异最小化在技术上很难实现，个中原因我们很快就将谈到。主动推理架构提供了一个解决方案，其假设即便生命有机体无法直接最小化惊异水平，也能最小化一个近似值，这个近似值就是（变分）自由能。这个量可借助神经计算实现最小化，作为对感知观察的反应（和期望）。对自由能最小化的强调揭示了主动推理架构及其背后的“第一原则”——也就是自由能原理（Friston, 2009）间的关系。
就解释生命现象而言，自由能最小化似乎是一个非常抽象的出发点。但是，我们能由此出发引申出一系列形式的，乃至实证的假设，解释大量认知科学与神经科学问题。包括神经集群如何编码自由能最小化涉及的变量，最小化自由能的过程如何对应于特定认知过程，如知觉、行动选择和学习，以及主动推理的主体为推进自由能的最小化会采取哪些行动。
上述问题表明本书将主要关注生命有机体水平的主动推理和自由能最小化——包括非常简单与非常复杂的生命（如细菌与人类），及相应的行为、认知、社会和神经过程。这是必要的澄清，因为自由能原理的适用范围非常广泛，除神经信息加工活动外，自由能最小化还可用于描述时间跨度各异的一系列生命现象，涵盖细胞尺度、文化尺度和演化尺度（Friston, Levin et al., 2015; Isomura & Friston, 2018; Palacios, Razi et al., 2020; Veissière et al., 2020）。但这些话题就不在本书的关注范围之内了。
我们可以用两套逻辑来刻画主动推理架构：顶层逻辑和底层逻辑（见图1-2）。它们为理解主动推理提供了两种截然不同的视角，但彼此又高度互补。
主动推理架构之顶层逻辑的出发点是类似这样的问题：生命有机体如何借助在现实环境中的适应性活动实现持存？主动推理架构提供了对这类问题的规范性解决方案，而顶层逻辑将有助于我们理解这种规范性的内涵：生命有机体需要做些什么来应对基本的生存挑战（最小化自由能）以及它们为何要这么做（替代性地最小化其感知观察之惊异）。
主动推理架构的底层逻辑从贝叶斯大脑的理念出发，该理念视大脑为一台推理引擎，致力于优化感知刺激之诱因的概率表征。主动推理是（原本不可解的）推理问题的一种特殊的变分近似，这种近似有生物学意义上的可行性。主动推理的底层逻辑有助于阐释主体如何最小化自由能——这意味着主动推理不仅是一条原则，还是对认知功能及其神经基础的机制解释（亦即过程理论）。
我们将在第2章探讨主动推理架构的底层逻辑。从基本理论开始，回顾Helmholtz（1866）如何将知觉描述为（贝叶斯）统计推理，以及这一观点的现代版本——贝叶斯大脑假设（Doya, 2007）。我们将看到为实施这种（知觉）推理，生命有机体必须配备（体化）一个概率生成模型。生成模型是关于感知观察之生成过程的，编码了对可观察和不可观察的变量（感知观察和隐藏诱因）的信念（概率分布）。我们将扩充这种推理机制的适用范围，直至其将行动选择、计划和学习囊括在内。
我们将在第3章探讨主动推理架构的顶层逻辑，与底层逻辑相对应。这一章将要介绍自由能原理，以及生命有机体最小化自由能的规范原则。此外，我们还将揭示这一原则如何适用于自组织动力学，以及如何在统计意义上区分主体与环境（以“马尔科夫毯”为界），这对生命的维系与自创生十分关键。
第4章的探讨将更偏重于形式，以第2章将要讨论的“贝叶斯大脑”为线索，揭示第3章提及的自证动力学与变分推理间的数学关系。此外，这一章还将区分两类生成模型，它们都可用于主动推理：一是部分可观察的马尔科夫决策过程，适用于决策与计划；二是时间上具有连续性的动力模型，可用于协调感受器与效应器。最后，我们将领略这两类模型如何将自由能的最小化呈现为信念的动态更新。
在第5章，我们将从主动推理架构的形式体系谈到其生物学意义。从“大脑的一切变化都必须最小化自由能”（Friston, 2009）这一预设出发，我们将探讨自由能最小化涉及的某些变量（类似预测、预测误差、精度信号）与神经动力学的对应关系，也就是将主动推理架构的抽象计算原则与具体的神经生理计算机制联系起来。这将有助于我们基于当前架构提出假设，并对测量数据做出合理的解释。换言之，第5章试图演示如何为主动推理架构与相应的过程理论牵线搭桥。
本书的第一部分将要探讨主动推理架构的几个典型特征，正是它们让主动推理架构与其他试图解释生命与认知现象的框架有所不同，我们在这里简单地预览一下。
根据主动推理架构，知觉和行动是同一规范原则——最小化自由能——的两种互补的实现手段。知觉借助（贝叶斯）信念更新（即改变观念）最小化自由能（和惊异），让我们的信念与感知观察相符。行动则通过改变世界最小化自由能（和惊异），让外部环境符合我们的信念和目标。主动推理架构强调认知功能的统一，与那些将行动与知觉区分开来的观点划清了界限。学习只是另一种最小化自由能的方法，但它与知觉没有本质上的区别：只是在一个更长的时间跨度上进行罢了。第2章就将深入探讨知觉与行动的这种互补关系。
除去在当下选择行动，改变可用感知刺激，主动推理架构还能解释计划——面向未来的最优行动路线（策略）的选择。是否“最优”的衡量标准是“预期自由能”，它与我们讨论行动和知觉时谈到的“变分自由能”不太一样。事实上，计算变分自由能需要依赖当前的以及过去的观察，而计算变分自由能还需要预测未来的观察（否则就不叫“预期”了）。有趣的是，特定行动策略的预期自由能由两个部分组成，分别衡量该策略将在何种程度上降低不确定性（探索），以及预期的结果在何种程度上符合主体的偏好（利用）。与其他框架对比，主动推理的策略选择自动地平衡了探索与利用。变分自由能和预期自由能的关系可见第2章。
根据主动推理架构，一切认知活动都可界定为基于生成模型的推理——这与我们将大脑的日常工作视为概率计算（贝叶斯大脑假设）的观点一致。不过，借助强调贝叶斯推理的一种特定类型的近似（基于第一原则的变分贝叶斯），主动推理的过程理论具有了某种特殊性。此外，主动推理架构试图以同样的逻辑解释一系列少有关注的认知活动，并对有生物学可行性的模型与推理做出了特殊的界定。根据某些假设，主动推理架构使用的生成模型的动力学与一些影响甚广的计算神经科学模型，如预测编码（Rao & Ballard, 1999）和Helmholtz机（Dayan et al., 1995）关系十分密切。相应变分机制的讨论可见第4章。
根据主动推理架构，知觉和学习都是主动的过程，原因有二：其一，大脑本质上是一台预测机器，持续不断地预测传入刺激，而非被动地等待接收感知信号。这很重要，因为知觉和学习的过程始终以先验预测为背景（也就是说，意料之内或出乎意料的刺激会以不同的方式影响知觉和学习）。其二，从事主动推理的生物会主动地寻找那些具有显著性的感知观察，降低其不确定性（比如控制感官的指向，或选择更有效的学习方法）。这种对知觉与学习之主动性的强调使主动推理架构进一步区别于其他框架——它们大都将知觉与学习视为被动的过程。相关论述可见第2章。
归根结底，行动是目标导向的，是有意图的，始于对特定结果或目的的渴望（这种结果或目的类似于控制论概念setpoint即“设定值”，由某个先验预测编码）。计划就是对符合该预测的行动结果的推理（只要能降低先验预测与当前状态间的预测误差，就可以说是“符合该预测”）。主动推理架构强调行动的目标导向性，这与早期控制论力场相符，但与当前大多数其他理论不同，这些理论用刺激—反应映射或状态—行动策略来解释行为。刺激—反应模式或习惯化行为只是主动推理架构界定的更为宽泛的“行动策略”的特例，第2章和第3章将深入探讨主动推理架构的目标导向性。
主动推理架构涉及的一系列概念都能找到相应的神经对应物，这意味着主动推理不仅仅是一个规范架构，还能作为过程理论——只要我们为手头的问题定义了生成模型，就能据此提出相应的实证假设。比如知觉推理和学习就分别对应于改变突触活动和改变突触效能，预测的精度（见预测编码）对应于预测误差单元的突触增益，策略的精度则对应于多巴胺能活动水平。主动推理架构的某些生物学蕴义可见第5章。
1.4.2 主动推理：实践篇
本书第一部分为读者提供了理解主动推理架构的概念与形式工具，第二部分将关注于实践问题，特别是帮助读者了解现有基于主动推理架构的计算模型如何解释一系列认知功能（及功能失调），并支持他们创建新的主动推理模型。为此我们将探讨一些实例。重要的是，主动推理模型可依不同的维度加以区分（包括时间上的离散与连续、结构上的扁平与分层）。第二部分结构安排如下。
我们将在第6章介绍主动推理模型的创建方法，即设计有效模型的步骤，包括如何识别我们关注的系统、选择哪一类生成模型（根据需要刻画的现象在时间上的离散性或连续性）以及确定模型中所含的变量，作为后续章节将要讨论的模型的设计原则。
在第7章，我们将探讨那些用于解决离散时间问题的主动推理模型，如隐马尔科夫模型（hidden Markov models, HMMs）或部分可观察的马尔科夫决策过程（partially observable Markov decision processes, POMDPs）。相关实例包括一个知觉推理模型和一个离散的寻觅—决策模型——涉及借助一系列“左转—右转”的决策获得最大收益。这一章的话题还包括信息搜集、学习和求新求异，这些活动都能还原为离散时间的主动推理问题。
在第8章，我们将探讨用随机微分方程解决连续时间问题的主动推理模型，包括知觉模型（类似预测编码）、运动控制模型和顺序动力学模型。有趣的是，主动推理架构一些最为独特的预测正可由这类模型所体现，比如运动是对预测的实现，以及注意现象可以借助精度控制来理解。我们还将介绍主动推理的混合模型，这类模型既包括离散时间变量，也包括连续时间变量，因此能协调一些更加复杂的活动，它们同时涉及离散的选项（如扫视对象）和相应的连续运动（如眼动）。
在第9章，我们将展示如何使用主动推理模型来分析行为实验的数据，涉及基于模型的数据分析（针对单个或小组水平的被试）的必要步骤，从数据的搜集到模型的创建，再到模型的“反演”。
在第10章，我们将讨论主动推理架构和其他心理学、神经科学、人工智能与哲学理论间的关系。我们还将总结并强调主动推理架构之所以与众不同的那些最为重要的特点。
在附录部分，我们将提供一些简单的背景知识，主要是数学方面的，包括泰勒级数近似、变分拉普拉斯和针对泛函的变分法，以方便读者理解书中最“技术化”的内容。我们还对主动推理最重要的那些方程做了简要介绍。
总而言之，本书第二部分介绍了关于各类生物与认知现象的一系列主动推理模型，并为读者创建新的模型提炼了相应的方法论。虽说这些模型都很有趣，但我们更希望这部作品能让读者意识到：使用统一的规范架构对生命科学与认知科学问题进行连贯的处理大有好处——为研究表面上高度异质的现象（如知觉、决策、注意、学习和运动控制）提供了统一的视角和指导原则，而传统的心理学与神经科学教材通常会将这些现象分散到不同的章节之中。
第二部分的一个原则是模型的选择要有助于尽可能简单明了地介绍相关主题。虽说我们的几个模型已经有相当的概括性，其解释对象包括离散时间现象（决策）和连续时间现象（运动控制），但它们显然无法涵盖主动推理架构的适用范围。读者可以在现有文献资料中找到一些同样有趣的主动推理模型，它们能解释非常宽泛的现象，包括生物的自组织和生命的起源（Friston, 2013）、形态发生（Friston, Levin et al., 2015）、认知机器人学（Pio-Lopez et al., 2016; Sancaktar et al., 2020）、社会性的发展和生态位的创建（Bruineberg, Rietveld et al., 2018）、动态突触网络（Palacios, Isomura et al., 2019）、生物网络的学习（Friston & Herreros, 2016）和一系列精神病理现象，如创伤后应激障碍（Linson et al., 2020）和惊恐障碍（Maisto, Barca et al., 2021）。我们可以在许多维度上区分这些模型：有些与生命现象直接相关，有些则不是；有些与单个主体有关，有些则关注多个主体；有些致力于解释适应性推理，有些则关注适应不良的（病理）现象……诸如此类。
相关文献资料的数量正与日俱增，这说明主动推理架构已得到了越来越广泛的认可，并已在许多不同的领域得到了应用。本书的目的是让读者理解主动推理架构，在自己的研究工作中加以使用，并尽可能发掘该架构的潜力——对这些潜力，我们尚无法充分预见。
1.5 总结
本章简要介绍了主动推理架构如何对一系列生命与认知现象进行规范性解释，并简要预览了这种规范性解释的内涵，以备后续章节展开。此外，本章强调了全书的结构：两大部分分别致力于帮助读者理解和应用主动推理架构。接下来的几章将展示主动推理架构的底层逻辑和顶层逻辑，并深入探讨生成模型的结构以及消息传递机制。这些内容作为主动推理的“理论篇”，将使读者为接下来进入“实践篇”做好准备。我们希望这些章节能让读者相信：主动推理不仅为理解行为提供了统一的原则，还为研究自主系统的行动和知觉提供了一种便于处理的方法。
英国皇家学会院士、欧洲科学院院士，Semantic Scholar全球十大最具影响力神经科学家之首、科瑞唯安认定诺贝尔生理/医学奖热门候选人卡尔·J. 弗里斯顿（Karl J. Friston）解读生命与心智的“第一性原理”和认知科学的“万物理论”，揭示一切具身智能和计算系统认识与改造世界的根本逻辑，推动多学科基本范式的转移和通用人工智能研究路径的创新。
作者：【英】托马斯·帕尔（Thomas Parr）
【意】乔瓦尼·佩祖洛（Giovanni Pezzulo）
【英】卡尔·J.弗里斯顿（Karl J. Friston）
译者：刘林澍
出版社：机械工业出版社
人划线
175
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
