逻辑回归中的sigmoid函数及负对数似然函数求导:
查了好多笔记都是抄抄抄,中间有一步很简单但很关键,都没有展示,只能上笔了,记录一下:
sigmoid函数:
s i g m o i d ( w x ) = η ( w x ) = 1 1 + e x p ( − w x ) sigmoid(wx)=\eta{(wx)}=\frac{1}{1+exp(-wx)} sigmoid(wx)=η(wx)=1+exp(−wx)1
负对数似然函数:
L = − ∑ i [ y i ∗ l o g ( η ( w x ) ) + ( 1 − y i ) ∗ l o g ( 1 − η ( w x ) ) ] L=-\sum_i{[y_i*log{(\eta{(wx)}})+(1-y_i)*log{(1-\eta{(wx)})}]} L=−i∑[yi∗log(η(wx))+(1−yi<