复试机器学习相关

1. 引言

1.1 机器学习定义

Arthur Samuel：机器学习赋予计算机学习的能力，这种能力不是通过显式编程实现的。
Tom Mitshell：一个被称为可以学习的计算机程序是指，它可以针对某个任务T和某个性能指标P，从经验E中学习。这种学习的特点是，它在T上的被P衡量的性能，会随着经验E的增加而增加。

1.2 机器学习的分类

按任务是否需要和环境交互分类

监督学习由人工采集数据并附带标签，输入计算机；强化学习的数据来源于计算机的行为及其结果，计算机根据收益函数对行为进行奖励或惩罚，逐渐强化自己的行为模式。

监督学习（按训练数据是否含有标签）

• 传统的监督学习
  • 支持向量机
  • 人工神经网络
  • 深度神经网络
• 非监督学习
  • 聚类
  • EM算法
  • 主成分分析
• 半监督学习

监督学习（按标签是连续还是离散）

• 回归
• 分类

强化学习

2. 支持向量机

2.1 线性可分

在二维特征空间中，能否用一条直线将样本分成两个部分

2.2 问题描述

一、解决线性可分问题
二、再将线性可分问题中的结论推广到线性不可分的情况

超平面标准：

• 超平面分开了两个类
• 最大化间隔
• 处于间隔中间，到所有支持向量的距离相等

2.3 优化问题

将求解支持向量机的ω、b参数转化成凸优化问题。
最小化：$\frac{1}{2}||{\omega }^2||$
限制：非支持向量满足 $|{\omega }^T{X}_i+b>1|$

2.4 线性不可分情况

放松限制条件，引入松弛变量。
限制条件改为 $y_i({\omega }^T{X}_i+b)\ge 1-{\delta }_i$
改造后的支持向量机优化版本：
最小化：$\frac{1}{2}||{\omega }^2||+C\sum _{i=1}^N{\delta }_i$ 或 $\frac{1}{2}||{\omega }^2||+C\sum _{i=1}^N{\delta }_i^2$
限制条件：

• （1）${\delta }_i\ge 0$;
• （2）$y_i({\omega }^T{X}_i+b)\ge 1-{\delta }_i$

C为超参数（人为设定的参数）。
还不是能解决所有问题，要扩大可选函数的范围。

2.5 低维到高维的映射

$\phi (X)$ 把 $X$ 从低维映射到高维

2.6 核函数

$K(X_1,X_2)=\phi (X_1{)}^T\phi (X_2)$
核函数 $K$ 与映射 $\phi$ 是一一对应的。
条件：$K$ 满足交换性和半正定性。