关于归纳偏置（inductive bias）的一点简单理解

最近看到了inductive bias，一脸懵，完全不知道啥意思，查了点资料做个备忘：

inductive bias：归纳偏置或者归纳偏差，指学习算法在从有限数据中推断出一般性规律时所做出的先验假设或限制，可以帮助学习算法在面对新数据时进行推理和泛化，并优先考虑具有某些属性的解。

简单理解，就是根据你的先验知识，对某件事做出假设，即inductive bias==假设。例如，alphago在解决围棋问题时，可以用CNN解决，这就是人的先验假设；当alphago想解决Dota2这类涉及时序的问题时，再加入RNN也许有不错的效果，这又是一种inductive bias。所以综上，inductive bias翻译成“归纳性偏好”可能更好理解。当然既然是包含了先验知识的偏好，那也有可能造成错觉或者错误的判断。

再举个例子理解：inductive bias就像学生在考试前预测可能考到的题目类型，这有助于他们更好地准备考试，但如果预测错误，可能会适得其反。因此，在选择学习算法时，需要考虑其归纳偏差是否适合特定的数据和任务。

参考：深度学习的归纳偏置是什么？ - 知乎