如何理解inductive bias

inductive 归纳，

deductive 演绎

inductive bias 经常翻译为 归纳偏好、归纳偏置

以下内容都是比较粗浅的理解和从各方收集来的加工内容，仅作增长见识。

理解一

在西瓜书中，有这样一段解释：机器学习算法在学习过程中对某种类型的偏好，称为归纳偏好（inductive bias），或简称为“偏好”。

任何一个机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上“等效”的假设所迷惑，而无法产生确定的学习结果。可以想象，如果没有偏好，西瓜学习算法产生的模型每次在进行预测时随机抽取的训练集上的等效假设，那么对这个新瓜而言，模型时而告诉我们它是好瓜，时而告诉我们它是坏瓜，这样显然没有意义。

例如现在一个样本集合 { x i , y i } \{x_{i},y_{i}\} {xi​,yi​},那么对样本点进行拟合的时候可能有很多条曲线，学习算法必须有某种bias，才能选出它认为正确的模型。例如模型偏好每个样本点的输出应该不一样，那么最后产生的曲线就可能比较–陡峭崎岖，认为相似的样本输出的结果应该相似，则最后曲线就比较–平缓。

归纳偏好 可以看作算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或“价值观”。有没有一般性的原则来引导算法确立正确的偏好呢？比较熟悉的**“奥卡姆剃刀”**原则是其中一个，还有许多其它原则。

没有免费的午餐定理NFL（No free launch theorem）

具体内容不在这里细说，就是说两个不同偏好的模型，经过公式推导，最后的总误差与学习算法无关，它们的期望性能相等。NFL的一个前提条件：所有“问题”出现的机会相等，或所有问题同等重要，但显然实际情况不可能这样，我们在现实中只关注自己想要解决的那个问题，找到一个解决方案，至于在其它场景下的问题我们并不关心。所以脱离具体问题，谈论算法的好坏毫无意义，学习算法自身的归纳偏置与问题是否匹配，往往就决定具体问题上模型的好坏。

理解二

参考内容：
https://analyticsindiamag.com/top-5-inductive-biases-in-deep-learning-models/
学习算法主要使用一些机制或假设，要么对假设的空间施加一些限制，要么可以说是底层的模型空间。这种机制被称为归纳偏差或学习偏差。

此机制鼓励学习算法优先处理具有特定属性的解决方案。简而言之，学习偏差或归纳偏差是机器学习算法为概括一组训练数据而做出的一组隐式或显式假设（类似于先验知识）。

在这里，列出了五个有趣的归纳偏差，没有特定的顺序，用于深度学习。

Structured Perception And Relational Reasoning

• 结构化感知和关系推理
  https://openreview.net/pdf?id=HkxaFoC9KQ

结构化感知和关系推理是DeepMind的研究人员在2019年引入深度强化学习架构的归纳偏差。根据其研究人员的说法，该方法提高了深度RL模型的性能，学习效率，泛化和可解释性。

通过将结构化感知和关系推理引入深度强化学习架构，强化学习代理可以学习可解释的表示，并在样本复杂性、泛化能力和整体性能方面超越基线代理。这种方法还可以在满足现代人工智能中一些最具挑战性的测试环境方面提供优势。

Group Equivariance

https://arxiv.org/pdf/1602.07576.pdf

对于深度卷积网络来说，群等方差是一个好的归纳偏差。卷积神经网络中的群等方差是一种归纳偏差，有助于网络的泛化。它通过利用网络中的对称性来降低样本复杂性。阿姆斯特丹大学的研究表明，等变方程组神经网络（G-CNN）使用Group convolutions，这是一种比常规卷积层享有更高权重共享程度的层。

该层在不增加参数数量的情况下增加了卷积神经网络的表达能力。根据其研究人员的说法，组卷积层易于使用，并且可以使用–可忽略不计的计算开销–实现，用于平移，反射和旋转生成的discrete groups。

Spectral Inductive Bias

https://arxiv.org/pdf/1806.08734.pdf
频谱偏差是深度网络中的归纳偏差或学习偏差，它不仅表现在学习过程中，还表现在模型本身的参数化中。该研究由Yoshua Bengio及其团队于2019年发布。在这种偏差中，首先较低的频率被学习到。根据研究人员的说法，这种归纳偏差的属性与观察结果一致，即过度参数化网络—优先考虑学习—跨数据样本泛化的–简单模式。

Spatial Inductive Bias

具体论文https://jscholarship.library.jhu.edu/bitstream/handle/1774.2/40864/MITCHELL-DISSERTATION-2017.pdf?sequence=1&isAllowed=y
空间偏差是卷积神经网络 （CNN） 中的一种归纳偏差，它假定数据中存在某种类型的空间结构。根据其研究人员的说法，空间偏差即使在非连接主义和完全线性的模型中也很有用。这意味着，当涉及空间数据时，即使在非连接主义技术的背景下，将空间偏差应用于其他技术也应该是可能的和有益的。这种类型的偏差只需对算法进行微小的更改即可引入，并且不需要外部强加的分区。

Invariance and Equivariance Bias

https://openreview.net/pdf?id=Hkx6p6EFDr
不变性和等方差偏差可用于对关系数据的结构进行编码。这种归纳偏差会通知模型在各种变换下的行为。等变模型已成功用于对具有各种结构的数据进行各种深度学习 - 从平移等变图像到几何设置和离散对象（如集合和图形）。

解释三（未完。。）

参考论文：https://arxiv.org/pdf/1806.01261.pdf
许多博客中都讲到了这篇论文：Relational inductive biases, deep learning, and graph networks
由于内容复杂，仅仅关注第5页开始关于inductive bias的介绍部分。摘录如下：