机器学习白板推导系列学习笔记1----频率派与贝叶斯派

1 定义参数

X:数据。N个样本，每个样本P维
：参数。

2 频率派

认为为未知的常量，X 为随机变量

目标：估计得到

极大似然估计： =

 

由此发展出的为统计机器学习，一般是一个优化问题：

建模--->loss function----->具体算法（梯度下降等）

 

3 贝叶斯派

认为为随机变量，X 为随机变量，~p()先验，服从分布。

目标：求出最大的那个概率分布

由此发展出的为概率图模型，一般是一个求积分问题：

MCMC(蒙特卡洛估计)

贝叶斯定理，将先验和后验结合起来

为后验概率，为先验概率，

p(x)为在上的积分=,当离散时，求累加和即可

贝叶斯估计

最大后验概率估计

当后验概率最大时，认为分母p(x)为一个常数。原问题相当于求解：

=

根据贝叶斯估计可以做什么

预测下一个变量x',使用将老数据与新数据联系起来

p(x'|x)==

4 参考书籍（频率派标红）

李航  统计学习方法

感K朴决逻支提E隐条

感知机--k近邻--朴素贝叶斯--决策树--逻辑回归--支持向量机--提升算法--EM算法--隐马尔科夫模型---条件随机场

周志华  西瓜书

两方面都有。

PRML  模式识别与机器学习

侧重贝叶斯

回分神核稀 图混近采连 顺组

线性回归--分类--神经网络--核方法--稀疏核--概率图模型--混合模型--近似方法---采样方法--联系型变量--顺序数据---组合模型

MLAPP 以概率视角看机器学习

侧重贝叶斯

ESL （elements of static learning）

侧重频率派

deep learning 圣经

5 参考视频

台大 林轩田 机器学习基石，机器学习技法

基石：VC theory, 正则化，线性模型

技法：SVM，决策树，随机森林等传统算法模型，神经网络。。

张志华 机器学习导论， 统计机器学习

机器学习导论：频率派角度

统计机器学习：贝叶斯角度

吴恩达 Ng cs229.斯坦福大学课堂

徐亦达 概率模型

github notes

台大 李宏毅   机器学习，MLDS

 

参考：

1 白板推导  https://www.bilibili.com/video/BV1cW411C7RS?p=1