机器学习——变分贝叶斯自编码
sallyyoung_sh
这个作者很懒,什么都没留下…
展开
-
KL散度(Kullback-Leibler_divergence)
KL-divergence,俗称KL距离,常用来衡量两个概率分布的距离。1. 根据shannon的信息论,给定一个字符集的概率分布,我们可以设计一种编码,使得表示该字符集组成的字符串平均需要的比特数最少。假设这个字符集是X,对x∈X,其出现概率为P(x),那么其最优编码平均需要的比特数等于这个字符集的熵:a.当log以2为底的时候称之为 bits,结果可以视为多少个二进制位可以表示转载 2017-01-13 10:57:06 · 7843 阅读 · 0 评论 -
贝叶斯法则,先验概率,后验概率,最大后验概率
1.贝叶斯法则机器学习的任务:在给定训练数据D时,确定假设空间H中的最佳假设。最佳假设:一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设。贝叶斯理论提供了一种计算假设概率的方法,基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。2.先验概率和后验概率用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被转载 2017-01-19 23:39:35 · 1338 阅读 · 0 评论 -
MLE极大似然估计和EM最大期望算法
机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺NB的。什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题。神为什么是神,因为神能做很多人做不了的事。那么EM算法能解决什么问题呢?或者说EM算法是因为什么而来到这个世界上,还吸引了那么多世人的目光。 我希望自己能通俗地把它理解或者说明白,但是,EM这个问题感觉真的不太好用通俗的语言去说明转载 2017-01-20 11:21:26 · 4070 阅读 · 1 评论 -
VAE(3)——公式与实现
VAE(3)——公式与实现冯超 · 3 个月前本文收录在无痛的机器学习第一季。前面两部分我们已经扫除了一些基本概念上的障碍,下面我们来直奔主题——VAE!由于文章是一篇一篇写的,所以照顾到大家观看的情况,我们把前面介绍过的一些重要公式搬过来。首先是系列第一篇的公式——多维高斯分布的KL散度计算公式:希望大家还有印象,如果没有印象就赶紧翻回去看看吧转载 2017-01-20 17:21:29 · 6209 阅读 · 0 评论 -
VAE(4)——实现
本文收录在无痛的机器学习第一季。终于到了实现的地方。前面干燥乏味的公式推导和理论阐述已经让很多人昏昏欲睡了,下面我们要提起精神,来看看这个模型的一个比较不错的实现——GitHub - cdoersch/vae_tutorial: Caffe code to accompany my Tutorial on Variational Autoencoders,当然,这个实现也是一个配套tu转载 2017-01-20 17:22:44 · 4817 阅读 · 0 评论 -
VAE(2)——基本思想
本文收录在无痛的机器学习第一季。上一回我们花了很大的篇幅介绍了KL散度,这一回我们来看看VAE,尤其是深度模型下的VAE。前面我们已经见过了许多优秀的深度学习模型,它们达到了非常好的精度和效果。众人曾十分认真地分析过为什么这些模型的效果这么好,结论是深度模型的非线性拟合能力确实很强。不管曾经多么复杂的问题,一个深度模型出马,立刻把问题解决的八九不离十。VAE也是利用了这个特点,我们转载 2017-01-20 17:20:25 · 5788 阅读 · 0 评论 -
VAE(1)——从KL说起
VAE(1)——从KL说起冯超 · 4 个月前本文收录在无痛的机器学习第一季。前面我们介绍了GAN——Generative Adversarial Network,这个网络组是站在对抗博弈的角度去展现生成模型和判别模型各自的威力的,下面我们来看看这种生成模型和判别模型组合的另一个套路——Variational autoencoder,简称VAE。突然想起来,他也叫VAE,我转载 2017-01-20 17:19:13 · 9231 阅读 · 3 评论 -
LearningNotes 变分自编码(VariationalAutoEncoder VAE)
http://www.it165.net/pro/html/201612/78028.htmlLearningNotes 变分自编码(VariationalAutoEncoder VAE)作者: 发布日期:2016-12-22 20:36:23我来说两句(0)0Tag标签:编码 近年,随着有监督学习的低枝果实被采摘的所剩无几,无监督学转载 2017-05-18 13:48:22 · 1852 阅读 · 0 评论