【直觉建设】归纳偏差与选择性偏差

归纳偏差

归纳偏差(Inductive biases)可以理解为一种先验或约束，他能够帮助我们在多个可能的模型中选择出一个。比如奥卡姆剃刀原则，他指示我们，在多个模型都符合条件时，我们选择最简单的那个

正则项(regularization term)可以看作是在奥卡姆剃刀原则下指导的一个表现，我们想要选择最简单的那个模型，可以通过使得模型所有的系数朝零的方向进行约束、调整或缩小；所以，最小化正则项，就可以看作是我们加在模型中的归纳偏置

除了最小化正则项外，CNN中的 也是较为常见的归纳偏差

选择性偏差

选择性偏差(selection bias)是指，用于分析的数据不能保证随机化得方法获得，因此从样本中分析的结果不能代表总体特征

如果样本的选择过程依赖了某个变量，而这个变量恰好是你关注的的变量的共同结果，则会导致选择性偏差

两者区别

归纳偏差，是我们主动加在模型中的，为了解决一些问题而存在的；而选择性偏差，是我们被动引起的，可能来源于数据集收集过程中不可避免的结果

加入归纳偏差可以提升模型的泛化能力，而解决选择性偏差才可以提升泛化能力

适用情况

并不是所有的模型都需要添加归纳偏差，因为比如最小化正则项这个归纳偏差，本质上来说，是为了解决模型过拟合，即模型过度地关注数据集的某些“个性”，从而限制了模型的泛化能力；然而，如果有些模型中出现了选择性偏差，那么正确的问题解决顺序是：解决选择性偏差–>模型出现问题（比如过拟合）–>加入归纳偏差

常见的归纳偏差

下面，介绍一些深度学习模型中常见的归纳偏差，比如为了解决过拟合问题的正则项和dropout；为了解决梯度消失问题的Batch Normalization和Layer Normalization；以及全连接层、卷积网络、循环神经网络、图网络这些常见的网络结构中用到的归纳偏差。下面我们将一一介绍

1. 正则项

为了更好地理解，为何"最小化正则项"可以成为一种归纳偏差，我们可以看下图：

以其中的第三个为例，这张图描述的是：$x^2+y^2=m$，其中$m$表示某个常数，而我们的添加的正则项通常是：$\lambda \sqrt{x^2+y^2}$（这里假设$x,y$均是模型中的参数，且使用$L_2$正则项），所以我们的目标就是使得$m$尽可能小，落实到三维图上，就是下图中的第三个，我们要使得圆锥的高度尽可能小：

然而，真正的模型，不可能只需要正则项这一个约束，所以我们在保证尽可能小的同时，还需要寻找与模型其他约束相交的交点

2. Batch Normalization和Layer Normalization

之前写过一篇关于Batch Normalization和Layer Normalization，从直觉出发的理解向文章，欢迎访问：【直觉建设】矩阵取用的常用方式与Batch Normalization、Layer Normalization

3. 常见深度学习网络中的归纳偏差

主要观点都来自于Relational inductive biases, deep learning, and graph networks这篇综述类文章的Section 2. 这里主要介绍全连接网络和卷积神经网络

全连接网络，实体是单元，由于每个单元之间都会建立联系，因此全连接网络中的归纳偏差很弱（大概可以理解为，全连接规划了规则下所有可能的函数，代表其没有使用什么先验或限制）

卷积网络，实体是网络或像素，主要使用了两种归纳偏差：局部性(locality)和平移不变性(translation invariance)；局部性是指，关系规则的对象限制在那些在输入信号的坐标空间下（大概指的是卷积核的感受野）紧密接近的实体，远离了那些末端实体；平移不变性是指，输入的各个局部位置会使用同样的规则

牢骚

今天又开始递归式学习了，即准备学一个知识的时候，发现其中有个背景知识需要补，而在补这个背景知识的时候，又发现其他背景知识…

今天的递归式学习始于SegFormer代码的使用，但在扣代码时，发现很多不理解的点，比如参数的含义、数据集需要的格式等等；于是点开了SegFormer的论文，在读引入的时候提到了ViT模型不能直接应用于语义分割任务的弊端；于是又点开ViT的论文，然后发现对归纳偏差理解得不是很透彻，于是又着手来理解归纳偏差；归纳偏差中又提到正则项也是一种归纳偏差，而我一时get不到这两者之间的关系，之后又慢慢想到，怎么自己的领域没有人使用正则化项呢？于是有了这一篇主理解向的文章