deep|Bayes（1）

最新推荐文章于 2022-06-10 22:49:19 发布

panthera_1

最新推荐文章于 2022-06-10 22:49:19 发布

阅读量281

点赞数

分类专栏： LAMP 文章标签： bayes

本文链接：https://blog.csdn.net/panthera_1/article/details/83056380

版权

LAMP 专栏收录该内容

11 篇文章 0 订阅

订阅专栏

本次汇报内容是三星研究所的一个关于贝叶斯和深度学习的课程，主要内容有贝叶斯框架对ML问题的unified formalism和方法（学习表示，强化学习，正则化，生成时模型，高斯过程），现存的深度学习算法基于贝叶斯解释而拓展应用范围（Dropout，GANs，自编码器），一些提高算法扩展的数学工具（随机优化，方差减少，双随机变分推理，可扩展MCMC算法）

贝叶斯定理

贝叶斯定理； ??是p(x)是类先验（prior）概率； ???p(y│x) 是样本yy相对于类标记xx的类条件概率（likelihood）； ?(?)p(y)是用于归一化的证据因子。黑白小球问题：袋子里装着若干个黑球或者白球，问取出白球的概率 $\Theta$ 。在贝叶斯出现之前人们认为 $\Theta$ 一直是1/2，之后才认为取得白球的概率是个不确定的值，因为其中含有机遇的成分。

频率派与贝叶斯派各自不同的思考方式：

频率派把需要推断的参数θ看做是固定的未知常数，即概率θ虽然是未知的，但最起码是确定的一个值，同时，样本X 是随机的，所以频率派重点研究样本空间，大部分的概率计算都是针对样本X 的分布；

而贝叶斯派的观点则截然相反，他们认为参数θ是随机变量，而样本X 是固定的，由于样本是固定的，所以他们重点研究的是参数θ的分布。

因此贝叶斯提出先验分布 π(x)+ 样本信息y⇒ 后验分布π(x|y),先验概率看做是一般规律,后验概率看做是在特定现象下的规律,因此贝叶斯公式可以理解为

后验概率　＝　先验概率ｘ调整因子,先预估计一个先验概率p(x)，然后加入实验，看调整因子对先验概率的作用，是增强了还是削弱了，由此得到更加接近事实的“后验概率”。

总结下概率学派和贝叶斯学派

不确定性：概率学派——客观的不确定性（随机性），从自然角度出发试图直接为「事件」本身建模，即事件A在独立重复试验中发生的频率趋于极限p，那么这个极限就是该事件的概率。贝叶斯学派——不刻画事件本身，而是从观察者角度出发。不认为事件本身是随机的，而是认为观察者知识不完备，构造出一套在贝叶斯框架下对于不确定知识做出推断的方法。

变量：概率学派——随机和确定，模型参数是固定的但是未知，样本是随机的；贝叶斯学派——所有参数都是随机的，样本是固定的

推理方法：概率学派——最大似然估计；贝叶斯学派——贝叶斯理论

参数估计：概率学派——MLE，最大似然估计；贝叶斯学派——最大后验估计MAP

使用范围：概率学派——大量可重复性的实验，n—总体样本，d—选取的样本；贝叶斯学派——任意的样本数量都可以

因此，在数据量趋近无穷时，频率学派和贝叶斯学派得到的结果是一样的，也就是说频率方法是贝叶斯方法的极限

在机器学习中，常见的任务就是分类，那么两个学派对分类器是怎样建立的。

概率学派 —— 判别式模型，直接对条件概率建模，不用考虑训练数据本身的特性。线性回归模型、决策树、支持向量机SVM、神经网络

贝叶斯学派——生成式模型，则会对x和y的联合分布?(?,?)p(x,y)建模，然后通过贝叶斯公式来求得?(??|?)p(y_i |x)，然后选取使得 p(y_i|x)p(x) 最大的 $y_i$ 。HMM，朴素贝叶斯模型，GMM，LDA

举例：要确定一个羊是山羊还是绵羊，用判别模型的方法是从历史数据中学习到模型，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。利用生成模型是根据山羊的特征首先学习出一个山羊的模型，然后根据绵羊的特征学习出一个绵羊的模型，然后从这只羊中提取特征，放到山羊模型中看概率是多少，在放到绵羊模型中看概率是多少，哪个大就是哪个。

插句话：启发式模型，并没有这种专有的词。启发式算法，在一定的可接受的资源内找到一个近似的最优解。他符合人的解决问题的步骤，不会在所有的问题空间，花费大量的时间找到最优解，而是利用经验规则进行发现的方法。

附加：