【机器学习-周志华】——学习笔记（1.1 to 2.2）

自己学习的心得，持续更新，欢迎大家评论区交流

第一章：

第一节：

一本书的标准开头

第二节：

1.基本术语：

数据集 :机器学习过程所使用的，具有目标属性（标记）值的数据

样本：数据集每一条（行）数据称之为样本。

特征：数据集每一个（列）属性称之为特征。

样本空间：所有特征的集合。又称“输入空间”。

维数：一条样本拥有的特征个数。

标记：机器学习的目标特征。

标记空间：每一个标记值得集合。

分类任务：输出结果是不连续（离散型、类别型）的学习任务。这里说明一下，离散型或类别型的特点就是“不可数、不可加”，比如特征“性别”，值可以取“男”、“女”

回归任务：输出结果是连续（数值型）的学习任务。

学习器：机器学习（训练后）的结果模型。

测试样本：学习器应用的没有标记值的新数据。

泛化能力：学习器对测试样本的适应能力，这个是相对于数据集而言的，一般学习器对于数据集和测试样本的表现差异越小称为泛化能力高，差异越大称为泛化能力低，低的原因可能是学习器“过拟合”或“欠拟合”。

至于“过拟合”、“欠拟合”、“聚类”、“有监督/无监督学习”遇到再细说。

第三节：

之后的包括对“归纳偏好“的介绍都仅仅是让读者更了解机器学习的特点，以及屏蔽可能的自以为是的极端想法。

 

第二章：

第一节：

1. 精度 = 1 - 错误率， 错误率 = 错的/总的
2. 错误率可称作误差，训练集中的叫经验误差，测试集的叫泛化误差
3. 过拟合——拟合是指模型对训练集的“匹配程度”，过拟合，顾名思义是过分的与训练集相匹配，学习还原的过高。这不是好现象，则意味着模型将训练集大多数的自身非一般属性当作，潜在的一般属性。例如目标识别狗，训练集全是金毛，过拟合会把测试集中的二哈归为不是狗。过拟合是很难解决的问题，在追求高准确率的路上，你也不知道是不是已经越过红线，进入过拟合。
4. 欠拟合——学习的不够，连基本属性都没学全。容易解决。

第二节：

1. 原始数据分割方法：

训练集：从数据集分离的，用于模型训练的

验证集：从数据集分离的另一部分，与训练集无交叉，用于结果模型评估的

测试集：实际生产中没有标签的数据

1）留出法：按一定比例提出原始数据一部分作为验证集，要求测试集与留下的训练集数据分布保持一致性，例如正负样本比例相同。分割比例一般为，2/3、4/5、6/7作为训练集。训练集比重大，验证不足导致评估结果不准。测试集比重大导致模型保真性降低。

2）交叉验证：将原始数据等分成N份并尽可能保证每部分数据分布保持一致，之后每次抽取N-1分做训练集，剩下1份做测试集。如此，有N种分割方法，对每种方法结果取平均。

3）留一法：交叉验证中将N = 数据总数M

4）自助法：从原始数据中有放回的抽取数据总数M次构成训练集，训练集中没出现的（约占0.368）作为测试集。适用于原始数据集小的或难以有效划分的。

下一篇