机器学习 Chapter1 绪论

Chapter1 绪论

1.1 简介

1. 机器学习定义：

   ​ A computer program is said to learn from experience E with respect to some class of tasks T and performance P, if it’s performance at tasks in T, as measured by P, improves with experience E.

   ​ 一个程序被认为能从经验E中学习，解决任务T，达到性能度量值P，当且仅当，有了经验E后，经过P评判，程序在处理T时的性能有所提升。

   ​ “我认为经验E就是程序上万次的自我练习的经验，而任务T就是下棋，性能度量值P就是它在与一些新对手比赛时的获胜的概率。”

2. 人工智能是一门学科：
   $$人工智能AI\{\begin{array}{c}机器学习ML\{\begin{array}{c}神经网络NN\{\begin{array}{c}深度学习DL\\ ...\end{array}\\ ...\end{array}\\ ...\end{array}$$

3. 怎么实现机器学习：
   $$数据集\stackrel{方法}{⟶}训练⟶预测$$

4. 机器学习四大方向：
   $$机器学习\{\begin{array}{l}\text{Classical learning}\{\begin{array}{l}\text{Supervised}\\ \text{Unsupervised}\end{array}\\ \text{Reinforcement learning}\\ \text{Neural nets and Deep learning}\\ \text{Ensemble methods}\end{array}$$
   ​ 四大方向，百花齐放，一家独大，算力为先。

1.2 常用算法 & 实际应用

1. 机器学习十大算法

2. 基本术语：

   • 数据：训练集、测试集、特征、标签
   • 任务：预测目标 $\{\begin{array}{l}\text{回归：连续}\\ \text{分类：离散}\\ \text{聚类：无标记}\end{array}$ 、 有无标记 $\{\begin{array}{l}\text{监督}\\ \text{无监督}\\ \text{半监督}\end{array}$
   • 泛化能力：独立同分布 i.i.d

3. 机器学习方法分类
   $$机器学习\{\begin{array}{l}监督\{\begin{array}{l}\text{分类Classification}\{\begin{array}{l}朴素贝叶斯\\ 决策树\\ \ast 支持向量机\\ \text{Logistic回归}\\ \text{K近邻}\end{array}\\ \text{回归Regression}\{\begin{array}{l}线性回归\\ 多项式回归\\ 逻辑回归\end{array}\end{array}\\ 无监督\{\begin{array}{l}\text{聚类Clustering}\{\begin{array}{l}\text{K均值聚类}\\ \text{Mean-Shift}\\ \text{DBSCAN}\end{array}\\ \text{降维Dimension Reduction}\{\begin{array}{l}主成分分析\\ 奇异值分解\\ 狄里克雷特分解\\ 潜在语义分析\end{array}\\ \text{并联规则学习Association Rule Learning}\{\begin{array}{l}\text{Apriori}\\ \text{Euelat}\\ \text{FP-growth}\end{array}\end{array}\\ 弱监督：人脸识别，但圈出整个人\\ 半监督：1000个数据，100个有标签\end{array}$$

1.3 历史与应用

1. 机器学习简要发展历史回顾
   • 推理期：1950s~1970s初
   • 知识期：1970s中
   • 学科形成：1980s
   • 繁荣期：1980s~至今
2. 应用驱动：基础性、透明化的“支持技术、服务技术”

1.4 模型评估与选择

1. 经验误差与过拟合

   • 误差：
     • 训练误差（经验误差）：学习器在训练集上的误差
     • 泛化误差：学习器在新样本上的误差
   • 过拟合与欠拟合
     • 过拟合：优化目标加正则项，early stop
     • 欠拟合：拓展分支，增加训练轮数

2. 评估方法

   • 留出法：直接将数据集分为两个互斥的集合，其中一个作为训练集，另一个作为测试集
   • 交叉验证法：分为 k 个互斥集合，保留一个作为测试集，训练 k 次
     • 10折交叉验证
     • 10次10折交叉验证
   • 自助法：有放回采样 m 次作为训练集，约有 $35.8\%$ 未被采样到的样本作为测试集
     • 包外估计

3. 调参与最终模型

4. 性能度量

   • 回归任务 - 均方误差
     $$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)-y_i{)}^2$$

   • 分类任务 - 错误率与精度

     • 错误率
       $$E(f;D)=\frac{1}{m}\sum _{i=1}^m\mathbb{I}(f(x_i)\ne y_i)$$

     • 精度
       $$acc(f;D)=\frac{1}{m}\sum _{i=1}^m\mathbb{I}(f(x_i)=y_i)=1-E(f;D)$$

   • 分类任务 - 查准率、查全率与 F1

     • 分类结果混淆矩阵

       真实情况\预测结果	正例	反例
       正例	TP 真正例	FN 假反例
       反例	FP 假正例	TN 真反例

     • 查准率 P
       $$P=\frac{TP}{TP+FP}$$

     • 查全率 R
       $$R=\frac{TP}{TP+FN}$$

     • P-R 曲线（查准率-查全率曲线），平衡点（查准率=查全率）

     • F1 度量
       $$F1=\frac{2\times P\times R}{P+R}=\frac{2\times TP}{样例总数+TP-TN}$$

     • F1 度量的一般形式 - $F_{\beta }$
       $$F_{\beta }=\frac{(1+{\beta }^2)\times P\times R}{({\beta }^2\times P)+R}$$

   • ROC 与 AUC

     • ROC - 受试者工作特征

     • ROC曲线：纵轴 - 真正例率 TPR，横轴 - 假正例率 FPR
       $$\begin{gathered} TPR=\frac{TP}{TP+FN} \\ FPR=\frac{FP}{TN+FP} \end{gathered}$$

     • AUC - ROC 曲线下的面积

   • 代价敏感错误率与代价曲线

     • 二分类代价矩阵

       真实类别\预测类别	第 0 类	第 1 类
       第 0 类	0	$cos{t}_{01}$
       第 1 类	$cos{t}_{10}$	0

     • 代价敏感错误率
       $$E(f;D;cost)=\frac{1}{m}\left(\sum _{x_i\in D^{+}}\mathbb{I}(f(x_i)\ne y_i)\times cos{t}_{01}+\sum _{x_i\in D^{-}}\mathbb{I}(f(x_i)\ne y_i)\times cos{t}_{10}\right)$$

5. 比较检验

   • 假设检验
     • 二项检验
     • t 检验
   • 交叉验证 t 检验
   • McNemar 检验
   • Friedman 检验与 Nemenyi 后续检验

6. 偏差与方差

   • 泛化误差可分解为偏差、方差与噪声之和
   • 一般来说，偏差与方差是有冲突的，这称为偏差-方差窘境

\mathbb{I} (f(x_i) \neq y_i) \times cost_{10}
\right)
$$

5. 比较检验

   • 假设检验
     • 二项检验
     • t 检验
   • 交叉验证 t 检验
   • McNemar 检验
   • Friedman 检验与 Nemenyi 后续检验

6. 偏差与方差

   • 泛化误差可分解为偏差、方差与噪声之和
   • 一般来说，偏差与方差是有冲突的，这称为偏差-方差窘境