什么是归纳偏置

首先给出百度百科的定义：

当学习器去预测其未遇到过的输入的结果时，会做一些假设（Mitchell, 1980）。而学习算法中归纳偏置则是这些假设的集合。

是指在学习算法之初就通过人为偏好，将某一种解决方案优先于其他解。这既可以包含在底层数据分布假设上，也可以包含于模型设计上。它是一种在模型的无限解空间中所引入的合理假设与约束，这类假设、约束能够缩小求解空间并提高所得模型在目标域的泛化性。

在机器学习领域：

最大条件独立性	如果假说能转成贝叶斯模型架构，则试着使用最大化条件独立性。 这是用于朴素贝叶斯分类器（Naive Bayes classifier）的偏置
最小交叉验证误差	当试图在假说中做选择时，挑选那个具有最低交叉验证误差的假说，虽然交叉验证看起来可能无关偏置，但天下没有免费的午餐理论显示交叉验证已是偏置的
最大边界	当要在两个类别间画一道分界线时，试图去最大化边界的宽度。这是用于支持向量机的偏置,它假设不同的类别是由宽界线来区分。
最小描述长度	当构成一个假设时，试图去最小化其假设的描述长度。假设越简单，越可能为真的。见奥卡姆剃刀。
最少特征数	除非有充分的证据显示一个特征是有效用的，否则它应当被删除。这是特征选择算法背后所使用的假设。
最近邻居	假设在特征空间中一小区域内大部分的样本是同属一类。给一个未知类别的样本，猜测它与它最紧接的大部分邻居是同属一类。这是用于最近邻居法的偏置。这个假设是相近的样本应倾向同属于一类别。

在深度学习时代

比如深度神经网络结构就偏好性的认为，层次化处理信息有更好效果；卷积神经网络认为信息具有空间局部性（locality），可以用滑动卷积共享权重方式降低参数空间；反馈神经网络则将时序信息考虑进来强调顺序重要性；图网络则是认为中心节点与邻居节点的相似性会更好引导信息流动。可以说深度学习时代，纷繁的网络结构创新就体现了不同的归纳性偏

那么我们该怎么确定我们模型的归纳偏好呢？有没有什么原则呢？——一个最基本最常用的、自然科学研究中的原则就是“奥卡姆剃刀原则”，即“若有多个假设与观察一致，则选择最简单的那个”。则根据这个原则，我们一般做线性拟合的时候，会更自然的选择线性模型更平滑的那个。这里又存在一个问题，就是我们怎么确定我们的模型怎么样算最简单呢？怎么样算最好呢？这需要根据我们的具体任务来设定。

参考资料：

1. https://baike.baidu.com/item/%E5%BD%92%E7%BA%B3%E5%81%8F%E7%BD%AE/10207811?fr=aladdin