逻辑回归中代价函数求导推导

转载自博客： http://blog.csdn.net/jiandianzeng/article/details/52915882

Coursera上在推导代价函数时一笔带过了，没有过程，现推导如下：

所给代价函数：
J(θ)=−1m[∑mi=1y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]

其中：
hθ(x(i))=11+e−θTx

令 z=θTx=θ0+θ1x1+....+θnxn

则 ∂z∂(θj)=x(i)j

hθ(x(i))=11+e−z=ez1+ez

j(θ)=−1m[∑mi=1y(i)loghθ(x(i))1−hθ(x(i))+log(1−hθ(x(i)))=−1m[∑mi=1y(i)logez(i)1+ez(i)1−ez(i)1+ez(i)+log(1−ez(i)1+ez(i))]=−1m[∑mi=1y(i)z(i)−log(1+ez(i))]

j(θ)′=−1m[∑mi=1y(i)∗∂z(i)∂j−ez(i)1+ez(i)∗∂z(i)∂j]=−1m[∑mi=1y(i)−hθ(x(i))]∗∂z(i)∂j=1m[∑mi=1(hθ(x(i))−y(i))∗x(i)j]