算法设计
wyx9027
做一个优雅的程序猿
展开
-
EM最大期望算法
在介绍EM算法之前首先介绍Jensen不等式一、Jensen不等式定义:设f是定义域为实数的函数,如果对于所有的实数x。如果对于所有的实数x,f(x)的二次导数大于等于0,那么f是凸函数。当x是向量时,如果其hessian矩阵H是半正定的,那么f是凸函数。如果只大于0,不等于0,那么称f是严格凸函数。Jensen不等式表述如下:如果f是凸函数,X是随机变量,那么:E[f(X)]>=原创 2015-12-19 14:07:47 · 792 阅读 · 0 评论 -
MCMC和ÚGibbs Sampling
参考:LDA数学八卦MCMC(Markov Chain Monte Carlo马尔科夫链蒙特卡罗)和GibbsSampling(吉布斯抽样)MCMC抽样的思想:MCMC抽样用到的思想与马尔可夫链密切相关,我们构造一个转移矩阵概率矩阵为P的马尔科夫链,若该马尔科夫链的最终稳态分布恰好是我们要构造的样本所对应的概率分布p(x)。那我们从初始状态x0开始沿着马尔科夫链转移,如果在第n步马尔科夫链原创 2015-12-19 14:07:36 · 461 阅读 · 0 评论 -
PageRank算法
PageRank的核心思想是马尔科夫链的内容:一个定理:定理:不可约遍历的马尔科夫链有唯一的平稳分布定理证明如下:其中提到的定理四推论2如下:其中关于n步转移概率矩阵的行之和为1的证明如下:以上是理论知识,下面关于PageRank本身:1、pagerank通常有一个初始的状态分布如[pi1(0),pi2(0),pi3(0).......]其中pi1(0)表示初原创 2015-12-19 14:07:34 · 659 阅读 · 1 评论