小知识点系列(九) | 本文(2000字) | 解析归纳偏置 (Inductive Bias) |

---

点击进入专栏：
《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程

---

一、概念

在机器学习中，很多学习算法经常会对学习的问题做一些关于目标函数的必要假设，称为 归纳偏置 (Inductive Bias)。

归纳 (Induction) 是自然科学中常用的两大方法之一 (归纳与演绎，Induction & Deduction)，指从一些例子中寻找共性、泛化，形成一个较通用的规则的过程。偏置 (Bias) 则是指对模型的偏好，以下展示了 4 种解释：

• 通俗理解：归纳偏置可以理解为，从现实生活中观察到的现象中归纳出一定的 规则 (heuristics)，然后对模型做一定的 约束，从而可以起到 “模型选择” 的作用，类似贝叶斯学习中的 “先验”。
• 西瓜书解释：机器学习算法在学习过程中对某种类型假设的 偏好，称为 归纳偏好