参考 7.1节 Boyd 和 Vandenberghe 《凸优化》
Ch7-统计估计
最大似然(ML)估计
寻找参数***最大似然估计***的问题可以表示为:
maximize l ( x ) = log p x ( y ) subjec to x ∈ C \text{maximize} ~ l(x)=\log p_x(y) \\ \text{subjec to}~ x\in C maximize l(x)=logpx(y)subjec to x∈C
其中, x x x是待估计的参数, x ∈ C x\in C x∈C给出了参数 x x x的先验信息或约束。
如果对数似然函数 l ( x ) l(x) l(x)是一个凹函数,并且集合 C C C是一个凸集,则该问题是一个凸优化问题。
范数逼近问题的ML解释
考虑线性观测模型:
y i = a i T x + v i , i = 1 , … , m y_i=a_i^Tx+v_i,i=1,\dots,m yi=aiTx