【直觉建设】归纳偏差与选择性偏差

归纳偏差

归纳偏差(Inductive biases)可以理解为一种先验或约束，他能够帮助我们在多个可能的模型中选择出一个。比如奥卡姆剃刀原则，他指示我们，在多个模型都符合条件时，我们选择最简单的那个

正则项(regularization term)可以看作是在奥卡姆剃刀原则下指导的一个表现，我们想要选择最简单的那个模型，可以通过使得模型所有的系数朝零的方向进行约束、调整或缩小；所以，最小化正则项，就可以看作是我们加在模型中的归纳偏置

除了最小化正则项外，CNN中的 也是较为常见的归纳偏差

选择性偏差

选择性偏差(selection bias)是指，用于分析的数据不能保证随机化得方法获得，因此从样本中分析的结果不能代表总体特征

如果样本的选择过程依赖了某个变量，而这个变量恰好是你关注的的变量的共同结果，则会导致选择性偏差

两者区别

归纳偏差，是我们主动加在模型中的，为了解决一些问题而存在的；而选择性偏差，是我们被动引起的，可能来源于数据集收集过程中不可避免的结果

加入归纳偏差可以提升模型的泛化能力，而解决选择性偏差才可以提升泛化能力

适用情况

并不是所有的模型都需要添加归纳偏差，因为比如最小化正则项这个归纳偏差，本质上来说，是为了解决模型过拟合，即模型过度地关注数据集的某些“个性”，从而限制了模型的泛化能力；然而，如果有些模型中出现了选择性偏差，那么正确的问题解决顺序是：解决选择性偏差–>模型出现问题（比如过拟合）–>加入归纳偏差

常见的归纳偏差

下面，介绍一些深度学习模型中常见的归纳偏差，比如为了解决过拟合问题的正则项和dropout；为了解决梯度消失问题的Batch Normalization和Layer Normalization；以及全连接层、卷积网络、循环神经网络、图网络这些常见的网络结构中用到的归纳偏差。下面我们将一一介绍

1. 正则项

为了更好地理解，为何"最小化正则项"可以成为一种归纳偏差，我们可以看下图：

以其中的第三个为例，这张图描述的是： x 2 + y 2 = m x^2+y^2=m x2</