§第三部分,GMM的另一种解法
在本部分,讲义中利用简森不等式(Jensen's Inequality)来实现GMM的求解。
在开始之前,首先对该不等式进行说明。由于对数函数f(x)=ln(x)是一个凹函数,可得到下面的不等式
ln[λxi+(1-λ)x2]>=λln(x1)+(1-λ)ln(x2)
推广该式可得到简森不等式( Jensen's Inequality)
其中λi必须满足之和为1。
假设现有的参数为Θ(下面的公式中出现θ上面有~符号的文字中使用Θ来表示))现在想找出新的θ值,使得J(θ)>J(Θ),同样假设m=3为例,那么J(θ)可以表示为: