机器学习白板推导系列学习笔记1----频率派与贝叶斯派

1 定义参数


X:数据。N个样本,每个样本P维
\theta:参数。

X\sim p(x|\theta )

2 频率派

认为\theta为未知的常量,X 为随机变量

目标:估计得到\theta

极大似然估计:\theta _{MLE_{}} =\underset{\theta }{argmax}log p(x|\theta )

 

由此发展出的为统计机器学习,一般是一个优化问题:

建模--->loss function----->具体算法(梯度下降等)

 

3 贝叶斯派

认为\theta为随机变量,X 为随机变量,\theta~p(\theta)先验,服从分布。

目标:求出\theta最大的那个概率分布

由此发展出的为概率图模型,一般是一个求积分问题:

MCMC(蒙特卡洛估计)

贝叶斯定理p(\theta |x)=\tfrac{p(x|\theta)p(\theta)}{p(x)},将先验和后验结合起来

p(\theta |x)为后验概率,p(\theta)为先验概率,

p(x)为p(x|\theta)\theta上的积分=\int {p(x|\theta)p(\theta)d\theta }^{},当离散时,求累加和即可

贝叶斯估计

\underset{\theta }{argmax}p(\theta|x)

最大后验概率估计

当后验概率最大时,认为分母p(x)为一个常数。原问题相当于求解:

\underset{\theta }{argmax}p(\theta|x)=p(x|\theta)p(\theta)

根据贝叶斯估计可以做什么

预测下一个变量x',使用\theta将老数据与新数据联系起来

p(x'|x)=\int {p(x',\theta|x)d\theta }^{}=\int {p(x'|\theta)p(\theta|x)d\theta }^{}

4 参考书籍(频率派标红)

李航  统计学习方法

感K朴决逻支提E隐条

感知机--k近邻--朴素贝叶斯--决策树--逻辑回归--支持向量机--提升算法--EM算法--隐马尔科夫模型---条件随机场

周志华  西瓜书

两方面都有。

PRML  模式识别与机器学习

侧重贝叶斯

回分神核稀 图混近采连 顺组

线性回归--分类--神经网络--核方法--稀疏核--概率图模型--混合模型--近似方法---采样方法--联系型变量--顺序数据---组合模型

MLAPP 以概率视角看机器学习

侧重贝叶斯

ESL (elements of static learning)

侧重频率派

deep learning 圣经

5 参考视频

台大 林轩田 机器学习基石,机器学习技法

基石:VC theory, 正则化,线性模型

技法:SVM,决策树,随机森林等传统算法模型,神经网络。。

张志华 机器学习导论, 统计机器学习

机器学习导论:频率派角度

统计机器学习:贝叶斯角度

吴恩达 Ng cs229.斯坦福大学课堂

徐亦达 概率模型

github notes

台大 李宏毅   机器学习,MLDS

 

参考:

1 白板推导  https://www.bilibili.com/video/BV1cW411C7RS?p=1

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 数字20 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读