白板推导相关数学知识

一、概率基础知识

贝叶斯和全概率
详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解
极大似然估计详解
最大后验概率（MAP)
贝叶斯公式
概率论：p(x|theta)和p(x;theta)的区别
极大似然估计两种表示方式
期望、方差、协方差
奇异值分解原理及分析

二、EM算法以及混合高斯模型

多元高斯分布
EM算法深度解析
琴生不等式及其加权形式的证明
GMM高斯混合模型算法以及python实例
高斯混合模型终极理解
高斯混合模型及其EM算法的理解
详解EM算法以及高斯混合模型
多元高斯分布
如何通俗理解EM算法

三、概率图

概率图模型理解

四、隐马尔科夫模型

13张动图
机器学习中隐马尔科夫模型详解
隐马尔科夫模型HMM

五、卡尔曼滤波

滤波算法：经典卡尔曼滤波
详解卡尔曼滤波原理
卡尔曼滤波及其matlab实现
卡尔曼滤波——从推导到应用（一）
卡尔曼滤波——从推导到应用（二）
卡尔曼滤波原理及实现
卡尔曼滤波
关于卡尔曼滤波和粒子滤波最直白的解释
卡尔曼滤波的两种python实现方法

六、matlab教程

MIT视频教程
matlab教程

七、拉格朗日乘子法

真正理解拉格朗日乘子法和KKT条件
深入理解拉格朗日乘子法和KKT条件

八、贝叶斯线性回归、高斯过程回归以及核方法

Introduction to Gaussian processes part I
上文的参考译文
贝叶斯线性回归
正定矩阵和半正定矩阵定义性质和理解
高斯过程回归
通俗理解核方法
核方法的主要思想

九、SVM支持向量机

范数
SVM一系列
理解SVM的三层境界
支持向量机（SVM）从入门到放弃再到掌握
支持向量机原理篇之手撕线性SVM
支持向量机实战篇之再撕非线性SVM
拉格朗日对偶问题
零基础学SVM—Support Vector Machine(一)
超平面

十、MCMC

MCMC
要想将蒙特卡罗方法作为一个通用的采样模拟求和的方法，必须解决如何方便得到各种复杂概率分布的对应的采样样本集的问题。
要解决的问题，根据这个概率分布得到的样本集
引用马尔科夫链，就是要构造一个转移矩阵为P的马氏链，使得该马氏链的平稳分布恰好是$p(x)$

十一、受限玻尔兹曼机

受限玻尔兹曼机

十二、粒子滤波

Particle Filter Tutorial 粒子滤波：从推导到应用（一）
Particle Filter Tutorial 粒子滤波：从推导到应用（二）
Particle Filter Tutorial 粒子滤波：从推导到应用（三）
Particle Filter Tutorial 粒子滤波：从推导到应用（四）

十三、条件随机场

十四、感知机

梯度下降小结
为什么局部下降最快的方向就是梯度的负方向？
多元函数的泰勒(Taylor)展开式

十五、K近邻算法

k-近邻算法(史诗级干货长文)

十六、决策树

决策树算法原理（上）
决策树算法原理（下）
scikit-learn决策树算法类库使用小结
Python3《机器学习实战》学习笔记（二）：决策树基础篇之让我们从相亲说起
Python3《机器学习实战》学习笔记（三）：决策树实战篇之为自己配个隐形眼镜

熵：描述事物混乱的程度
信息熵：度量样本纯度的指标。
熵越小，纯度越高。
决策树结束条件：1、全部都是一种类型。2、没有特征可以分割。

十七、集成学习

装袋（bagging）又称自主聚集（bootstrap aggregating），是一种根据均匀概率分布从数据集中重复抽样（有放回的）的技术。每个新数据集和原始数据集的大小相等。由于新数据集中的每个样本都是从原始数据集中有放回的随机抽样出来的，所以新数据集中可能有重复的值，而原始数据集中的某些样本可能根本就没出现在新数据集中。

bagging方法的代表算法是随机森林，准确的来说，随机森林是bagging的一个特化进阶版，所谓的特化是因为随
机森林的弱学习器都是决策树。所谓的进阶是随机森林在bagging的样本随机采样基础上，又加上了特征的随机选
择，其基本思想没有脱离bagging的范畴。

集成学习概述
集成学习之Adaboost算法原理小结
scikit-learn Adaboost类库使用小结
梯度提升树(GBDT)原理小结
scikit-learn 梯度提升树(GBDT)调参小结
Bagging与随机森林算法原理小结
scikit-learn随机森林调参小结
XGBoost算法原理小结
XGBoost类库使用小结

Python3《机器学习实战》学习笔记（十）：提升分类器性能利器-AdaBoost
统计学习方法——CART, Bagging, Random Forest, Boosting
Bagging和Boosting 概念及区别
Boosting学习笔记（Adboost、GBDT、Xgboost）

十八、朴素贝叶斯

Python3《机器学习实战》学习笔记（四）：朴素贝叶斯基础篇之言论过滤器
Python3《机器学习实战》学习笔记（五）：朴素贝叶斯实战篇之新浪新闻分类
朴素贝叶斯算法原理小结
scikit-learn 朴素贝叶斯类库使用小结

十九、LSTM

简单理解LSTM神经网络