algorithm
搬砖张姐
踏入视觉算法这一行业,经历过酸甜苦辣,只管尽自己最大的努力,一切都是最好的安排。
展开
-
整型规划的凸松弛(Convex Relaxation in Integer Programming)
先来看下整型组合优化问题,对于(图一)中的寻找最小点(红点)问题,用求导的方法不可取,用排序的方法就是NP问题,无法在多项式时间内找到最优解。(图一)遇到这种情况,可以采用松弛的方式来处理,首先把问题定义域X的范围从整型松弛到实值范围内,而且目标函数在整型定义域上小于或者等于原目标函数,如图二所示:(图二)此时可以用分析的方法(比如梯度下降等)来处理,但是仍然有转载 2017-05-23 16:21:54 · 8714 阅读 · 1 评论 -
EM推导
本质上我们是需要最大化(1)式(对(1)式,我们回忆下联合概率密度下某个变量的边缘概率密度函数的求解,注意这里z也是随机变量。对每一个样本i的所有可能类别z求等式右边的联合概率密度函数和,也就得到等式左边为随机变量x的边缘概率密度),也就是似然函数,但是可以看到里面有“和的对数”,求导后形式会非常复杂(自己可以想象下log(f1(x)+ f2(x)+ f3(x)+…)复合函数的求导),所以很难转载 2017-04-28 14:38:52 · 258 阅读 · 0 评论 -
likehood function
求最大似然函数估计值的一般步骤:(1)写出似然函数;(2)对似然函数取对数,并整理;(3)求导数,令导数为0,得到似然方程;(4)解似然方程,得到的参数即为所求;likehood function)。记为L(θ)。 个叫做θ的最大似然估计量,记为: 有时,可以看到L(θ)是连乘的,所以为了便于分析,还可以定义对数似然函数,将其变成连加的:转载 2017-04-28 14:23:49 · 672 阅读 · 0 评论 -
expectation maximization
在统计计算中,最大期望(EM)算法是在概率(probabilistic)模型中寻找参数最大似然估计的算法,其中概率模型依赖于无法观测的隐藏变量(Latent Variable)。最大期望经常用在机器学习和计算机视觉的数据聚类(Data Clustering) 领域。最大期望算法经过两个步骤交替进行计算,第一步是计算期望(E),利用对隐藏变量的现有估计值,计算其最大似然估计值;第二步是最大化(M转载 2017-04-28 13:48:51 · 432 阅读 · 0 评论 -
最大期望算法
假设我们有一个样本集{x(1),…,x(m)},包含m个独立的样本。但每个样本i对应的类别z(i)是未知的(相当于聚类),也即隐含变量。故我们需要估计概率模型p(x,z)的参数θ,但是由于里面包含隐含变量z,所以很难用最大似然求解,但如果z知道了,那我们就很容易求解了。 对于参数估计,我们本质上还是想获得一个使似然函数最大化的那个参数θ,现在与最大似然不同的只是似然函数式中多了一个转载 2017-04-26 18:31:29 · 759 阅读 · 0 评论