假设训练样本为
(xi,yi),f(xi)=11+exp(−(wx+b))
采用类似Linear regression的损失函数Square error:
12∑ni=1l(f(xi)−yi)2
那么令其对
w
求导,得到以下
所以,
yi=0
时,若
f(xi)=0
,则上式为0,符合loss;若
f(xi)=1
,则上式也为0,不符合loss;
yi=1
时,若
f(xi)=1
,则上式为0,符合loss;若
f(xi)=0
,则上式也为0,不符合loss;
再看看用suqare error和cross entropy做loss function的loss surface (图片来自台大李宏毅老师课件)