dianjun9551-CSDN博客

转载变分推断(Variational Inference)

(学习这部分内容大约需要花费1.1小时)摘要在我们感兴趣的大多数概率模型中, 计算后验边际或准确计算归一化常数都是很困难的. 变分推断(variational inference)是一个近似计算这两者的框架. 变分推断把推断看作优化问题: 我们尝试根据某种距离度量来寻找一个与真实后验尽可能接近的分布(或者类似分布的表示)预备知识学习变分推断需要以下预备知识多元分布: 边际化(...

2017-02-14 19:30:00 475

转载 Metropolis-Hastings算法

(学习这部分内容大约需要1.5小时)摘要马尔科夫链蒙特卡洛(Markov chain Monte Carlo, MCMC)是一种近似采样算法, 它通过定义稳态分布为 \(p\) 的马尔科夫链, 在目标分布 \(p\) 中进行采样. Metropolis-Hastings 是找到这样一条马尔科夫链的非常一般的方法: 选择一个提议分布(proposal distribution), 并通...

2017-02-14 16:38:00 853

转载马尔科夫链蒙特卡洛(Markov chain Monte Carlo)

(学习这部分内容大约需要1.3小时)摘要马尔科夫链蒙特卡洛(Markov chain Monte Carlo, MCMC) 是一类近似采样算法. 它通过一条拥有稳态分布 \(p\) 的马尔科夫链对目标分布 \(p\) 进行采样.预备知识学习MCMC需要以下预备知识条件分布: MCMC常常被用于从条件分布中采样.蒙特卡洛估计(Monte Carlo estimation)马...

2017-02-14 16:08:00 324

转载谁该吃药了(线性判别法LDA小故事)

一家"胡说八道医院"拥有一种治疗癌症的药物, 根据过去的记录, 该药物对一些患者非常有效, 但是会让一些患者感到更痛苦...我们希望有一种判别准则能帮助我们判断哪些病人该吃药,哪些不能吃药.研究发现该癌症与基因表达有关,也许基因表达能给我们提供帮助...首先使用一个基因判别把所有病人的基因X转录水平画在数轴上, 用绿点表示服用药物有效的病人, 红点表示服用药物后更痛苦的病人....

2017-02-14 15:42:00 136

转载 Gibbs采样

(学习这部分内容大约需要50分钟)摘要Gibbs采样是一种马尔科夫连蒙特卡洛(Markov Chain Monte Carlo, MCMC)算法, 其中每个随机变量从给定剩余变量的条件分布迭代地重新采样. 它是在概率模型中执行后验推理的简单且常用的高效方法.预备知识学习Gibbs采样需要以下预备知识条件分布: Gibbs采样根据条件分布定义.马尔科夫蒙特卡洛(Markov ...

2017-02-14 15:20:00 140

转载 MAP参数估计

(学习这部分内容大约需要40分钟)摘要在贝叶斯参数估计中, 除了先验是特别选定的情况下, 通常要积分掉所有模型参数是没有解析解的. 在这种情况下, 最大后验(maximum a posteriori, MAP)估计是一种常用的近似. 在MAP中, 我们选择最大化后验的参数. 尽管这种方法提供了计算方便, 但它也是有缺点的, 比如对于重新参数化(reparameterization)它...

2017-02-14 14:48:00 611

转载贝叶斯网络

(学习这部分内容大约需要2.3小时)摘要贝叶斯网络是表达概率模型的结构的图示. 即随机变量间可能的互相依赖形式. 直观地来说, 贝叶斯网络擅于表示因果关系, 图中的边确定哪些变量直接影响哪些变量. 它们可以被看作等价于联合概率分布的分解结构, 或者编码关于分布的一组条件独立假设.预备知识学习这个概念需要以下预备知识随机变量: 贝叶斯网络是一种组织随机变量信息的方式条件独立:...

2017-02-14 14:29:00 68

转载贝叶斯机器学习路线图

这是一份贝叶斯机器学习路线图, 正在不断更新中. 路线图由简短的介绍配以相应的学习资源组成, 读者不一定要按顺序学习, 可以直接定位到自己需要的地方. 很多时候, 我们希望自学某个领域的知识, 学习能力是不差的, 但苦于不知该学哪些, 从何学起, 看什么书/视频好? 各个概念/知识点之间是怎样的联系? 这份路线图是为解决以上问题而生的, 对于学习贝叶斯机器学习应该十分有帮助. 若您发现错...

2017-02-13 14:04:00 266

转载损失函数

(学习这部分内容大约需要40分钟)摘要损失函数或者说代价函数是一个把决策输出映射到一个损失实值的函数. 损失函数在机器学习, 信息论, 统计和最优化中很普遍, 它可以帮助我们在包含不确定性的问题中作出决策.后继知识损失函数的概念是以下知识的基础贝叶斯决策理论核心资源(阅读/观看以下其中一个资源)免费Part II Decision Theory Lecture N...

2017-02-13 13:51:00 77

转载贝叶斯模型平均

(学习这部分内容大约需要1.1小时)摘要在模型选择中, 我们通常从一组候选模型中选择一个"最优"的模型(基于某种模型评价准则, 比如AIC分数). 然后, 使用这个选定的"最优"模型进行预测. 与这种选择单一最优模型不同的是, 贝叶斯模型平均给每个模型赋予权重, 并进行加权平均确定最终的预测值. 其中, 给某个模型赋予的权重是该模型的后验概率.预备知识学习贝叶斯模型平均需要以下预...

2017-02-12 11:41:00 5420

转载贝叶斯模型比较

(学习这部分内容大约需要2.7小时)摘要贝叶斯模型比较框架基于计算边际似然大小来比较概率模型, 或者比较积分掉所有参数后, 模型生成给定数据的概率. 模型参数的marginalization实现了一种"奥卡姆剃刀"效应. 边际似然也可以被用于使用贝叶斯规则计算模型后验.预备知识这个概念需要以下预备知识:贝叶斯参数估计: 大多数的贝叶斯模型比较也需要用到贝叶斯参数估计贝叶斯规...

2017-02-11 23:33:00 163

转载 Beta分布

(学习本部分内容约需要55分钟)摘要Beta 分布是单位区间上的一个概率分布. 它常在贝叶斯统计中被用作 Bernoulli 分布的共轭先验.预备/后继知识掌握 Beta 分布需要明白以下预备知识:随机变量gamma 函数: gamma 函数是 beta 分布归一化参数的一部分.期望和方差本概念是以下知识的基础:贝叶斯参数估计学习目标知道 beta 分布的...

2017-02-10 10:51:00 243

转载条件分布

(学习本部分内容大约需要1.4小时)摘要给定另一随机变量Y的随机变量X的条件分布是当观察到Y取某一值时X的分布。虽然涉及精确的数学定义，但对于离散和连续变量，它等于将X和Y的联合PDF或PMF除以Y的PDF或PMF。预备/后继知识学习条件分布需要掌握以下概念随机变量多元分布条件概率这个概念的后继知识有:贝叶斯参数估计学习目标知道离散和连续情况的条件分布定...

2017-02-10 10:21:00 457

转载多元分布

(学习这部分内容大约需要1.8小时)摘要多元分布是一种表达多个随机变量间依赖关系的方式预备/后继知识这个概念需要以下预备知识随机变量: 多元分布是一种表达多个随机变量间的依赖关系的一种方式, 首先需要明白随机变量的概念.多重积分: 需要掌握多重积分来计算与连续多元分布相关的概率学习目的可以根据联合PMF或者PDF表示一个多元分布知道一个或多个变量的边际分布的定义,...

2017-02-09 22:35:00 559

转载贝叶斯规则

(学习这部分内容大约需要1.8小时)摘要贝叶斯规则是一个结合先验信念和观测证据(译者注: 数据)获得后验的公式. 它是贝叶斯统计中的重要角色, 在该公式的帮助下, 我们可以在给定数观测数据的情况下, 推断统计模型中参数的后验.预备/后继知识掌握贝叶斯规则需要掌握以下预备知识:条件概率(conditional probability): 贝叶斯公式中需要用到条件概率的概念为...

2017-02-09 21:54:00 491

转载贝叶斯决策理论

(学习这部分内容需要花费约1.2小时)摘要当我们使用贝叶斯参数估计方法时, 往往是因为我们想作出决策. 在贝叶斯决策理论中, 我们通过最小化期望损失来作出决策. 当我们计算预测分布的众数或期望等统计量时, 这可以被解释为特定损失函数下的决策理论解.预备内容为弄清楚贝叶斯决策理论的概念, 需要一些预备知识贝叶斯参数估计(Bayesian parameter estimation...

2017-02-09 12:16:00 153

转载贝叶斯参数估计

(学习这部分内容约需要1.9小时)摘要在贝叶斯框架中, 我们将统计模型的参数视为随机变量. 模型由变量值的先验分布以及决定参数如何影响观测数据的证据模型来指定. 当我们对观测数据进行条件化时, 我们得到参数的后验分布. 术语"贝叶斯参数估计"会让我们误以为对参数进行了估计, 实际上我们通常可以完全跳过参数估计步骤. 我们把参数积分掉, 并直接进行预测.预备内容弄清楚这个概念需要一...

2017-02-09 11:20:00 308

转载从你的全世界切过(胡说八道支持向量机SVM小故事)

背景据说很久很久以前, 澳门有一家"胡说八道大赌场", 专门提供各种奇奇怪怪的玩法. 其中有一个赌博叫"从你的全世界切过"(连名字也这么奇怪). 玩法是在一张桌布上黏附着许多小蓝球和小红球玩家会得到一把很长很锋利的切片玩家在桌布上切一刀后, 指定切出来的这条线的一边是小蓝球, 一边是小红球. 确定选择后,"从你的全世界切过"游戏机便会掉落更多的小球黏附在桌布上.如果小球黏附的...

2017-02-09 09:09:00 129

dianjun9551的博客