机器学习 -- 概述

---

1. 经典定义

2. 基本术语

3. 预测目标

4. 机器学习的分类

5. 机器学习目标

6. 经验误差与过拟合

7. 评估方法

8. 性能度量

---

1. 经典定义

利用经验改善系统自身性能

历史数据通过训练（使用学习算法）做出预知

2. 基本术语

数据集 D={X1,X2....Xi,Xm}

样本或示例（特征向量）X

维数：描述特征的个数

3. 预测目标

（１）分类：离散值：二分类/多分类

（２）回归：连续值

（３）聚类：无标记信息

4. 机器学习的分类

有无标记信息：监督学习（支持向量机，贝叶斯）

无监督学习（聚类）

半监督学习

5. 机器学习目标

训练模型很好的适用于新样本

泛化能力：模型适用于新样本的能力；

假设样本空间“独立同分布iid”

6. 经验误差与过拟合

(1)误差：样本真实输出与预测输出之间的差异

训练（经验）误差：训练集

测试误差：测试集

泛化误差：在新样本上的误差

尽量使经验误差最小

(2)过拟合：模型很好把训练样本特点当作所有潜在样本都会有的一般属性

不可避免，如何缓解：优化目标加正则项，早停

(3)欠拟合：对训练样本的一般性质尚未学好

决策树：拓展分支

神经网络：增加训练轮数

7. 评估方法

通常将包含M个样本的数据集D拆分为训练集S和测试集T:

（1）留出法：把数据集分成两个互斥集合；划分要保证数据分布一致性；

（2）交加验证法：

将数据集分层采样划分为ｋ个大小相似的互斥子集，每次用ｋ－１个子集的并集作为训练集，余下的子集作为测试集，最终返回ｋ个测试结果的均值，ｋ最常用的取值是１０.

（10次10折交叉验证）

其中包含　留一法： 数据集k个划分为k-1和k个：只有一个划分（样本个数少）

（３）自助法：

自主采样为基础，对数据集D有放回采样ｍ次得到训练集D＇，测试集Ｄ－Ｄ＇。

适用于：数据集小，难以有效划分训练集，对于集成学习有很大的好处

在数据量足够多时，留出法和交叉验证发更常用。

8. 性能度量

衡量泛化能力的评价标准。

评估学习器的性能ｆ即把预测结果ｆ（ｘ）和真实标记比较

均方误差（回归任务最常用的性能度量）：

对于分类任务的两种性能度量方法：

(1) 错误率：分错样本占样本总数的比例

(2) 精度：分对样本占样本综述的比例

(3) 查准率  真正例／所有预测结果为正例的

(4) 查全率　真正例／所有真实情况为正例的

根据学习器的预测结果按正值可能性大小对样本进行排序，并逐个把样本作为正值预测，则可以得到查准率－查全率曲线（Ｐ－Ｒ曲线）

ABC三个学习器：C的曲线可以被A，B包含，就说：A的曲线好

AB有交叉点：A的性能好

F１度量法：

比Ｐ－Ｒ曲线平衡点更常用的F１度量

比Ｆ１更一般的形式