机器学习复习1-机器学习中一些最基本的概念

泛化能力

学得模型适用于新样本的能力，称为“泛化”能力。
具有强泛化能力的模型能很好地适用于整个样本空间。

独立同分布 iid

通常假设样本空间中全部样本服从一个未知“分布”D，我们获得的每个样本都是独立地从这个分布上获得的，即“独立同分布”。一般而言，训练样本越多，我们得到的关于D的信息越多，这样就越有可能通过学习获得具有强泛化能力的模型。

归纳学习

从样例中学习，是一个归纳的过程，所以也称为“归纳学习”。
广义上是从样例中学习；狭义上是从数据中学得概念，也称“概念学习”或“概念形成”，但目前研究、应用都比较少。
“概念学习”中最基本的是布尔概念学习，即对“是”、“不是”这样的可表示为0/1布尔值的目标概念的学习。

假设空间和版本空间

我们可以把学习过程看作一个在所有假设组成的空间（“假设空间”）中进行搜索的过程，搜索目标是找到与训练集“匹配”的假设，最终将会获得与训练集一致的假设，这就是我们学得的结果。

假设空间：各个属性的所有取值形成的样本的集合叫做假设空间。

版本空间：在假设空间中，与已知数据集一致的所有假设的子集集合叫做版本空间。
具体举例子的话，比如西瓜书里的好瓜坏瓜，我们从假设空间中将与正样本不一致的、与负样本一致的假设全部删除，剩余的样本组成的空间为版本空间。

归纳偏好

机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”。任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上“等效”的假设所迷惑，而无法产生确定的学习结果。

奥卡姆剃刀原则

若有多个假设与观察一致，则选最简单的那个。
但完全存在一种情况，我们认为A比B好根据奥卡姆剃刀原则，但实际上在训练集之外，B比A好。

NFL-没有免费的午餐定理

No Free Lunch