最大似然估计

突然明白了最大似然估计的意思

固定参数时，得到观察数据的概率

L(w) = P(H|w)， 假设H为观察数据

例子，逻辑斯蒂回归模型中

P(Y=1|X) = 1/(1+e(-wtx))

假设参数为w，那么观察到训练数据(x1, y1), (x2, y2), ..., (xn, yn)的概率为

(1/(1+e(-y1*wtx1)))*(1/(1+e(-y2*wtx2)))*...*(1/(1+e(-yn*wtxn)))

最大化该似然函数等于最小化-log

一般logistic regression取-log

所以就是log(1+e(-yi*wtxi)) 对i=1,...,n求和

然后加上正则项后就成为cost function,求最小化之后得到参数w。