突然明白了最大似然估计的意思
固定参数时,得到观察数据的概率
L(w) = P(H|w), 假设H为观察数据
例子,逻辑斯蒂回归模型中
P(Y=1|X) = 1/(1+e(-wtx))
假设参数为w,那么观察到训练数据(x1, y1), (x2, y2), ..., (xn, yn)的概率为
(1/(1+e(-y1*wtx1)))*(1/(1+e(-y2*wtx2)))*...*(1/(1+e(-yn*wtxn)))
最大化该似然函数等于最小化-log
一般logistic regression取-log
所以就是log(1+e(-yi*wtxi)) 对i=1,...,n求和
然后加上正则项后就成为cost function,求最小化之后得到参数w。