机器学习--归纳偏好

1.为什么会产生归纳偏好？

   假设现在有三个与训练集一致的假设，但是与它们对应的模型在面临新的一个样本时，会产生不同的输出。这时明显是不合适的。这时我们需要对其得到的假设进行筛选，因此就产生了归纳偏好.

2.深入理解：

  实质上，其归纳偏好知识一种判断当一个训练集面对多种假设时的一种思想.

                          

  上表展示的是一个西瓜的数据集，首先要明确，这是一个二分类问题，我们的目的就是判断一个新的拿来的瓜究竟是不是好瓜，我们将判断好瓜的标准暂且就由三种属性进行判定（色泽，根蒂，敲声）.

   现在假设我们训练完成后，有多种对应好瓜的假设。

第一种标准(尽可能特殊)：

   好瓜<->(色泽=青绿）^(根蒂=蜷缩)^(敲声=浊响)

第二种标准（尽可能一般）:

   好瓜<->(色泽=*)^(根蒂=蜷缩)^(敲声=*)

机器学习对于上面的标准选择的思想就使用了归纳偏好，具体是偏好不同的属性比如在上述的两种标准中，独自偏爱色泽为青绿的这一属性.这就是归纳偏好.

另外需要补充的是在实际的应用中，对于不同的属性的偏好选择是应该是基于信赖可视为某种领域知识而产生的归纳偏好，而不是你想当然就视哪一个属性的属性值为你的归纳偏好.

3.更加直观的描述（周志华《机器学习》）

   假设在下图中，每个训练样本是图中的一个点（x,y）,要学得一个与训练一致的模型，相当于找到一条穿过所有的点的一条曲线,注意，下图中穿过这些样本点的曲线可以有很多种，这就相当于我们的上面所述训练的集合对应的不同的假设，而我们的归纳偏好，就是基于一种偏好选择一种适当的假设。比如：如果我们以最终的曲线要尽量的简洁为一个偏好，那么直观上我们肯定选择下面的曲线A，而不选择曲线B.