机器学习-白板推导入门-概率图模型

前言

博主刚开始入门机器学习时，总是没法把各个模型串在一起，这几个月断断续续看完B站的白板推导（1-23节）,然后觉得视频里模型关系的导图还挺清晰的，于是记录一下，给自己存个笔记。

目前主要以概率图模型为主，后期如果复习到，会不断补充前面的模型和问题。欢迎各位批评指正~

机器学习到深度学习

$$\text{ML-to-DL}\{\begin{array}{l}频率派(统计学习)\{\begin{array}{l}正则化\{\begin{array}{l}L1-Lasso\\ L2-Ridge\end{array}=回归函{数}_{Lossfunction}+惩罚+梯度SGD\\ 核化kernel-SVM=分类\\ 优化问题-EM=学习/参数估计\\ 集成化-AdaBoost、RandomForest\\ 层次化-NeuralNetwork\{\begin{array}{l}MLP多层感知机\\ AutoEncoder\\ CNN\\ RNN\end{array}\to \text{Deep Neural Network}\end{array}\\ 贝叶斯派(PGM)\{\begin{array}{l}后验概率计算(采样)\to 积分推断\to 预测问题\\ 有向图:Bayes网络\to \text{Deep Direct Network}\{\begin{array}{l}\text{sigmoid belief network}\\ \text{Variational AutoEncoder-VAE}\\ GAN对抗生成网络\end{array}\\ 无向图:Markov网络\to \text{Deep Botlzman Machine}\\ 混合图:Mixture网络\to \text{Deep Belief Network}\end{array}\to \text{Deep Generalize Model}\end{array}$$

Deep Neural Network+Deep Generalize Model=DeepLearning，这里再附上一个很不错的大纲图

图片来源

贝叶斯派-概率图模型

概率图模型的五个要素：方向、节点、条件、隐变量、指数簇分布

$$PGM\{\begin{array}{l}有向图\{\begin{array}{l}NB朴素贝叶斯:朴素贝叶斯(独立)假设\\ GMM高斯混合模型\{\begin{array}{l}观测x高斯分布,隐变量离散分布\\ 概率生成模型,独立同分布+Time\end{array}\\ SSM状态空间模型\{\begin{array}{l}条件:隐变量,两假设(齐次Markov;观测独立),有向图\\ 动态系统\{\begin{array}{l}HMM隐马尔可夫模型:变量离散分布,概率生成模型-求P(X,Y)\\ Kalman-Filter卡尔曼滤波:变量(连续)高斯分布\\ 连续线性动态系统：使用P-PCA概率主成分求解Prediction\\ Particle-Filter粒子滤波:变量(连续)非高斯分布\\ 连续非线性动态系统：使用SIS顺序重要性采样求解Filtering\end{array}\\ 问题\{\begin{array}{l}Learning-EM算法\\ Inference\{\begin{array}{l}Decoding-Viterbi算法\\ Evaluation-Forward/Backward\\ Filtering-Forward-online学习\\ Smoothing-(Forward-Backward)-offline学习\\ Prediction-Forward\end{array}\end{array}\end{array}\\ MEMM最大熵马尔可夫模型:概率判别模型-求P(Y|X),打破观测独立假设\end{array}\\ 无向图\{\begin{array}{l}CRF条件随机场:无向图,打破观测独立假设,打破齐次Markov假设\\ LC-CRF线性链条件随机场:隐变量符合马尔可夫随机场MRF\\ BM玻尔兹曼机:无向图,隐变量,变量指数簇分布\\ RBM受限玻尔兹曼机:BM+条件独立性\end{array}\\ 混合-高斯图\{\begin{array}{l}特点：观测变量x是连续的\\ GBN高斯贝叶斯网络:有向图,基于线性高斯模型\\ GMN高斯马尔可夫网络:无向图,基于高斯马尔可夫随机场\\ GPR高斯过程回归:无限维的高斯分布,基于Kernel-BLR贝叶斯线性回归\end{array}\end{array}$$

分类问题

• 硬分类：SVM支持向量机，PLA感知机模型，LDA线性判别分析

• 软分类

  • Logistics Regression逻辑回归-概率判别模型-对P(Y|X)建模-EM算法
  • Naive Bayes朴素贝叶斯-概率生成模型-对P(X,Y)建模-HMM算法

聚类问题

$$聚类问题\{\begin{array}{l}compactner(凸域)\{\begin{array}{l}GMM高斯混合模型\\ K-Means:\text{Kernel Method}\end{array}\\ connectivity(非凸域):谱聚类\backsim 主成分分析\end{array}$$

非线性问题

$$非线性问题的三种解决方案\{\begin{array}{l}Non-Transformation手动非线性转换-高维映射-维数灾难\\ \text{kernel Method:隐藏了非线性转换，仅计算内积}\\ 神经网络\end{array}$$

采样问题-MCMC蒙特卡洛

• 基本的采样方法：概率分布采样；拒绝采样；重要性采样；重要性重采样；
• 存在的问题：高维样本使得采样困难，样本间不是相合独立的
• 马氏链采样：Gibbs采样:任意固定第i维度，再进行采样计算。
  • 求出状态转移矩阵$⟺$马氏链平稳分布
  • 预设平稳分布$\backsim$目标分布

推断问题

• 变分推断：应用于Encoder/Decoder问题；为了求解后验概率，可以应用在EM算法的E步
• SGVI随机梯度变分推断：将映射和假设分布的关系解耦，使得可以采样MCMC计算期望(求和/积分)