《机器学习》周志华(西瓜书)学习笔记 第一章 绪论

《机器学习》周志华(西瓜书)学习笔记

学习笔记总目录

机器学习 学习笔记总目录

世上只有一种投资是只赚不赔的，那就是学习。
当你的的能力还驾驭不了你的目标时，
就应该沉下心来历练；
当你的才华撑不起你的野心时，
就应该静下心来学习

第一章 绪论

1.1 引言

机器学习：它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。
机器学习所研究的主要内容：关于在计算机上从数据中产生“模型”的算法，即“学习算法”。
学习算法的作用：基于提供的经验数据产生模型；模型在面对新的情况的时候，会提供相应的判断。
模型：泛指从数据中学得的结果。

通过把经验数据喂给我们选择的学习算法，经过不断的训练，产生与问题相对应的模型，面对新的情况的时候，模型能够为我们提供相应的判断

1.2 基本术语

1.3 假设空间

归纳和演绎是科学推理的两大手段

归纳学习有狭义和广义之分，广义的归纳学习大体相当于从样例中学习，狭义的归纳学习则要求从训练数据中获得概念，亦称“概念学习"，或者”概念形成“
学习的目的是泛化，即通过训练，得到一个模型，而这个模型可以对新样例的标签进行精准的预测。

学习的过程，也可以看做，在所有假设组成的空间中，进行搜索的过程。假设，就是说该数据集对应的潜在规律；这个规律可能有很多种，学习的过程，就是找到最适合它的那一种。

可能存在有多个假设与训练集一致，即存在着一个与训练集一致的”假设集合“，称之为”版本空间”。

1.4 归纳偏好

任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上的“等效”的假设所迷惑，而无法产生正确的学习结果

奥卡姆剃刀：若有多个假设与观察一致，则选最简单的那个。

对于归纳偏好，我们使用奥卡姆剃刀来作为一般的原则，它是一种常用的，自然科学研究中最基本的原则。

1.5 发展历程