本文探讨了凸优化在统计估计中的角色，包括最大似然（ML）和最大后验（MAP）估计。ML估计通过最大化似然函数来求解参数估计，当对数似然函数是凹函数且约束集为凸时，问题变得凸。MAP估计则考虑了参数的先验分布，同样形成凸问题。在不同噪声模型下，如高斯和拉普拉斯噪声，对应的范数逼近问题也相应地转换为最小二乘或最小l1范数问题。
参考 7.1节 Boyd 和 Vandenberghe 《凸优化》
Ch7-统计估计
最大似然（ML）估计
寻找参数***最大似然估计***的问题可以表示为：
maximize l ( x ) = log p x ( y ) subjec to x ∈ C \text{maximize} ~ l(x)=\log p_x(y) \\ \text{subjec to}~ x\in C maximize l(x)=logpx(y)subjec to x∈C
其中， x x x是待估计的参数， x ∈ C x\in C x∈C给出了参数 x x x的先验信息或约束。
如果对数似然函数 l ( x ) l(x) l(x)是一个凹函数，并且集合 C C C是一个凸集，则该问题是一个凸优化问题。
范数逼近问题的ML解释
考虑线性观测模型：
y i = a i T x + v i , i = 1 , … , m y_i=a_i^Tx+v_i,i=1,\dots,m yi=aiTx
最低0.47元/天 解锁文章
1079
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
