周志华机器学习读书笔记第一章

（1）机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。

       机器学习所研究的内容，是关于在计算机上从数据中产生“模型”的算法。

（2）若我们预测的是离散值，此类学习任务称为“分类”；若预测的是连续值，则称为“回归”；

根据训练数据是否拥有标记信息，学习任务可大致分为两大类：“监督学习”和“无监督学习”，分类和回归是前者的代表，聚类则是后者的代表。

（3）通常假设样本空间中的全体样本服从一个未知的分布，我们获得的每个样本都是独立地从这个分布上采集获得的，即“独立同分布”（i.i.d），一般来说，训练样本越多，我们的到的关于这个分布的信息越多，这样就越有可能通过学习获得具有强泛化能力的模型。

（4）问题，色泽，根蒂，敲声分别有3,2,2种可能取值，则我们面临的假设空间规模大小为4*3*3+1=37。

我们把学习过程看作一个在所有假设组成的空间中进行搜索的过程。模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间(hypothesis space)。假设空间的确定意味着学习范围的确定。

答：可能是每种属性除了给出的选项，还应该有种其他的属性，即给出的属性不在我们先前属性的考虑范围内。

（5）版本空间：与训练集一致的假设空间。

（6）归纳偏好：任何一个有效的机器学习算法必有其归纳偏好。个人理解，就是机器学习算法的泛化能力。

引导算法确立正确偏好的一般性原则：奥卡姆剃刀，若有多个假设与观察一致，则选最简单的一个。

（7）脱离具体问题，空泛的谈论“什么学习算法更好”毫无意义，因为若考虑所有潜在的问题，则所有的学习算法都一样好。要谈论算法 的优劣，必须针对具体的学习问题。

（8）最优化理论的发展之一是wolpert和Macerday提出了没有免费的午餐定理(No Free Lunch，简称NFL)。该定理的结论是，由于对所有可能函数的相互补偿，最优化算法的性能是等价的。该定理暗指，没有其它任何算法能够比搜索空间的线性列举或者纯随机搜索算法更优。该定理只是定义在有限的搜索空间，对无限搜索空间结论是否成立尚不清楚。

简单的就是最好的