归纳偏置/归纳偏差/inductive bias

归纳偏置/归纳偏差/inductive bias

“归纳偏差”中的“偏差”容易让人想到数据估计中估计值与真实值的差别error，会让人认为“归纳偏差”是某种需要被规避的错误、误差，但事实并非如此，inductive bias在机器学习中起到的是积极作用。

更合适的翻译应该是“归纳偏置”：归纳是自然科学中常用的两大方法（归纳与演绎，induction and deduction)之一,指的是从一些例子中寻找共性、泛化，形成一个比较通用的规则的过程；而“bias”“偏置”是指我们对模型的偏好。因此归纳偏置可以理解为，从现实生活中观察到的现象中归纳出一定的规则，然后对模型做一定的约束，从而可以起到“模型选择”的作用，即从假设空间中选择出更符合现实规则的模型。类似贝叶斯学习中的“先验，prior”，但与“先验”不同的是，“先验”一般是确定性的已知、知识，而“偏置”更倾向于是一种经验性的假设。

归纳偏置在机器学习中几乎无处不在。具体的例子可以参考文末资料，笔者说一下自己想到的一个简单例子。

比如，我们考虑一组（0，0）（1，1）...（i，i）...（n,n）的点，当我们要学习一个模型来模拟x到y的映射时，我们最希望的是模型学习到y=x这个线性映射，可实际上符合这些样本点的映射有无穷多种，如果我们在非线性映射空间进行学习的话，学习过程就会十分复杂，因此我们在某些情况下就会做出“我们假定这是一个线性映射”这样的假设，之后在此假设的基础上对模型进行学习，这里的“我们假定这是一个线性映射”就是基于先验知识等所作出的归纳偏置；而当我们在线性映射空间进行学习时，也有可能得到无限种映射，此时我们会根据奥卡姆剃刀原则选择“尽可能简单的模型”。奥卡姆剃刀是机器学习中最典型的一种归纳偏置。

 

作用：

机器学习中的归纳偏置可以提高模型的泛化性。例如在上文的例子中，如果我们在采样中遇到了噪音（0，10），（7，-20）...，等就很可能会使得对泛化性更强的映射y=x学习的失败，从而学习到一个“过拟合”的模型，而在我们加入“线性映射”、“奥卡姆剃刀”等归纳偏置后，就会更容易学习到在目标域更具有泛化性、通用性的映射y=x（模型）

 

总结：

inductive bias更合适的翻译是归纳偏置而非归纳偏差，它是一种在模型的无限解空间中所引入的合理假设与约束，这类假设、约束能够缩小求解空间并提高所得模型在目标域的泛化性。