机器学习（二）西瓜书笔记

归纳（induction）和演绎（deduction）是科学推理的两大基本手段

归纳：从特殊到一般的泛化（generalization）的过程，即从具体事实归结出一般性规律

演绎：从一般到特殊的特化（specialization）过程，即从基础原理推演出具体状况

归纳学习有狭义和广义之分

广义的归纳学习：相当于从样例中学习

狭义的归纳学习：从训练数据中学得概念（concept），因此亦称为概念学习或概念形成

概念学习中最基本的是布尔概念学习，即对“是”“不是”这样的可表示为0/1布尔值的目标概念的学习。

表1.1 西瓜数据集

编号	色泽	根蒂	敲声	好瓜
1	青绿	蜷缩	浊响	是
2	乌黑	蜷缩	浊响	是
3	青绿	硬挺	清脆	否
4	乌黑	稍蜷	沉闷	否

现实问题中我们常面临很大的假设空间，但学习是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在一个与训练集一致的“假设集合”，我们称之为版本空间（version space）。例如，在西瓜问题中，表1.1训练集所对应的版本空间就是图1.2。

问题记录：

1、对于版本空间其实不是很理解，这需要在学习中慢慢理解。

 

 

 

机器学习算法在学习过程中对某种类型假设的偏好，称为“归类偏好（inductive bias）”或简称为偏好。举例，若我们的算法喜欢“尽可能特殊”的模型，则它会选择“好瓜（色泽=*）（根蒂=蜷缩）（敲声=浊响）”；但是若算法喜欢“尽可能一般”的模型，则它会选择“好瓜（色泽=*）（根蒂=蜷缩）（敲声=*”）”。

 

“奥卡姆剃刀（OCCam‘s razor’）”是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选最简单的那个”。

无论学习算法多聪明、学习算法多笨拙，他们的期望性相同。这就是“没有免费的午餐原理（No Free Lunch Theorem，NFL）”