lyb深度学习学习笔记第四章：机器学习概览

四、机器学习概览

本章节为机器学习相关的基础知识和概念

一、基本概念

1. 基本概念：

   1. 样本、特征
   2. 训练集、测试集
   3. 泛化、训练误差、测试误差、
   4. 欠拟合、过拟、非参数模型、贝叶斯误差
   5. 正则化、权重衰减、正则化项
   6. 超参数、验证集、交叉验证（k-fold）
   7. 点估计、bias、样本均值（无偏）、样本方差（有偏和无偏）、均值标准差
   8. 偏差和方差， $MSE=Bia{s}^2+Va{r}^2$
   9. 一致性（样本量相关）

2. 基本类型：

​ 分类、回归、转录、输入缺失、转录、机翻、结构化输出、异常检验、合成、去噪、密度估计

3. 性能度量：

​ 分类等模型：准确率、错误率

4. 算法分类：

​ 无监督、有监督、半监督、强化学习

二、极大似然估计

1. 数据集是随机的，参数是固定的

2. 模型${\theta }_{\mathrm{M}\mathrm{L}}=\underset{\theta }{\mathrm{argmax}}{\sum }_{i=1}^m\log p_{\mathrm{model}}\left(x^{(i)};\theta \right)$，也可以用最小化样本和模型的KL散度(交叉熵)

3. 线性模型的最小化MSE可以看做似然估计：最小化经验分布和高斯分布的差距

4. 性质：m趋于无穷时，就收敛率而言是最好的渐进估计，Cramer-Rao下界表明不存在参数均方误差低于最大似然估计的一致估计

三、贝叶斯统计

1. 数据集是确定的，但参数是随机的

2. $p\left(\mathbf{\theta }|{\mathbf{x}}^{(1)},\cdots ,{\mathbf{x}}^{(m)}\right)=\frac{p\left({\mathbf{x}}^{(1)},\cdots ,{\mathbf{x}}^{(m)}|\mathbf{\theta }\right)p(\mathbf{\theta })}{p\left(x^{(1)},\cdots ,x^{(m)}\right)}$由先验分布和数据似然计算对于$\theta$的信念

3. 预测的时候需要考虑$\theta$的全分布$p\left(x^{(m+1)}|x^{(1)},\cdots ,x^{(m)}\right)=\int p\left(x^{(m+1)}|\mathbf{\theta }\right)p\left(\mathbf{\theta }|x^{(1)},\cdots ,x^{(m)}\right)d\mathbf{\theta }$

4. 最大后验估计MAP：

   1. 最大化后验概率
   2. 相比于极大似然估计，增加了先验信息的帮助，这是从训练集中无法获取的
   3. 相比ML减小了方差，代价是增大了偏差

四、监督学习算法

1. 逻辑回归：可以通过梯度下降解最小化负对数似然函数
2. 支持向量机：核函数$f(\mathbf{x})=b+{\sum }_i{\alpha }_{i}k\left(\mathbf{x},{\mathbf{x}}^{(i)}\right)$，高斯核
3. KNN：非参数，小样本表现很差
4. 决策树

五、无监督学习算法

1. 主成分分析
2. K均值聚类
3. 随机梯度下降：计算复杂度不会随着样本规模上升而线性递增

六、深度学习的兴起

1. 机器学习会面临维度灾难
2. 平滑假设
3. 流形学习