机器学习（归纳偏好）

归纳偏好（inductive bias）：机器学习算法在学习过程中对某种类型假设的偏好。

例如：算法喜欢尽可能特殊的模型，则会选择“好瓜<->(色泽=*)^(根蒂=蜷缩)^(敲声=浑浊)”，如果算法尽可能一般的模型，则会选择“好瓜<->(色泽=*)^(根蒂=蜷缩)^(敲声=*)”。

通俗来讲：即在样本空间中存在多种假设，算法选择某种模型假设的偏好。

奥卡姆剃刀：若有多个假设和观察一致，选择最简单的那个。（但有时奥卡姆剃刀也会有不适用，当无法判断哪个更简单时，需要其他机制来解决这个问题）

概括：从假设空间中剪枝，剩余样本空间，样本空间中有多种符合的类型，对某种类型（特殊的，一般的，，，）假设的偏好，就叫归纳偏好。