logistic 损失求导
首先logistic损失定义为
L(y,p)=−(ylog(p)+(1−y)log(1−p))
其中 p=11+e−F(x)
∂L∂F(x)=−(y1pp(1−p)+(1−y)11−pp(1−p))=−(y(1−p)+(1−y)p)=p−y
hessian=p(1−p)
softmax损失求导
首先softmax损失定义为
L(y,p)=−∑k=1Kyklogpk
其中 pk=eFk(x)∑Ki=1eFi(x)
∂L∂Fm(x)=−∑k=1Kyk1pk∂pk∂Fm(x)=−ym(1−pm)−∑k≠myk1pk(−pkpm)=−ym(1−pm)+∑k≠mykpm)=∑k=1Kykpm−ym=pm−ym
hessian=pm(1−pm)
解释一下
−∑Kk=1∂pk∂Fm(x)
当
k=m
时
−∑k=1K∂pk∂Fm(x)=∂∂fm(efm∑jefj)=ef′m∑jefj−efm(∑jefj)′(∑jefj)2=pm−(pm)2
当
k≠m
时
−∑k=1K∂pk∂Fm(x)=−∑k=1K∂∂fm(efk∑jefj)=−∑k=1Kefk(efm(∑jefj)2)=−∑k=1Kpkpm