机器学习总结

---

0 前言

机器学习是人工智能的核心，从历史数据中学习信息，总结规律。
学会概率论与数理统计，矩阵分析以及凸优化，机器学习就掌握了大部分。
其中贝叶斯，梯度下降，svd分解在机器学习中较为常用。

1理论部分

1.1 优化问题

机器学习可以抽象为优化问题
未知函数$f:x\to y$
数据集$\mathcal{D}(x_i,y_i)$
假设函数类$\mathcal{H},h\in \mathcal{H}$看成约束
损失函数$loss(h(x_i),y_i)$
$$\begin{gathered} mi{n}_h{\mathbb{E}}^D(loss(h(x_i),y_i) \\ s.th\in \mathcal{H} \end{gathered}$$
上述问题称为期望风险极小化，但是实际情况，我们不知道所有数据集，只有样本，上述问题转为
$$\begin{gathered} mi{n}_h\frac{1}{n}\sum _i^n(loss(h(x_i),y_i) \\ s.th\in \mathcal{H}. \end{gathered}$$
称为经验风险极小化。

从概率角度解释
存在一个未知分布$(x,y)\sim P(X,Y)$，
极大似然估计：极大化后验概率$p(y|x)$

1.2 泛化

用样本得到的模型再样本之外的数据集性能表现称为泛化。
${\mathbb{E}}_{in}$：样本期望误差
${\mathbb{E}}_{out}$：样本之外数据点的期望误差
大数定理，Hoeffding’s inequality
$P[(|{\mathbb{E}}_{in}(h)-{\mathbb{E}}_{out}(h)|)>ϵ]\le 2e^{-2{ϵ}^{2}m}$
m为样本个数。
$g$为最优$h$
对于有限的$\mathcal{H}$
$$\begin{gathered} P[(|{\mathbb{E}}_{in}(g)-{\mathbb{E}}_{out}(g)|)>ϵ] \\ \le P[(|{\mathbb{E}}_{in}(h_1)-{\mathbb{E}}_{out}(h_1)|)>ϵ]+P[(|{\mathbb{E}}_{in}(h_2)-{\mathbb{E}}_{out}(h_2)|)>ϵ]+... \\ \le 2|\mathcal{H}|e^{-2{ϵ}^{2}m} \end{gathered}$$
对于无限的$\mathcal{H}$
$$P[(|{\mathbb{E}}_{in}(g)-{\mathbb{E}}_{out}(g)|)>ϵ]\le 4m_{\mathcal{H}}(2N)e^{-\frac{1}{8}{ϵ}^{2}N}$$
$m_{\mathcal{H}}(N)$为增长函数，表示对于$N$个数据点可以将数据分为几类。
$k$为断点，当$N<k$时可以被完全粉碎，即分为$2^N$类。
$d_{vc}=k-1$
二分类问题最多显然为$2^N$类，不同的假设函数类分类能力不同，如下例子。
$m_{\mathcal{H}}(N)\le {\sum }_{i=0}^{k-1}{C}_N^i$

给定误差限 $\delta$
$${\mathbb{E}}_{out}\le {\mathbb{E}}_{in}+\sqrt{\frac{8}{N}ln(\frac{4((2N{)}^{d_{vc}}+1)}{\delta })}$$
降低置信度，增大训练集，慎选假设函数集来提升泛化。

1.3 过拟合

正则化

1.4 优化算法

一阶算法，二阶算法，牛顿，拟牛顿

2 应用

2.1 SVM

到直线距离最大

2.2 decision tree

未完待续