转载自博客: http://blog.csdn.net/jiandianzeng/article/details/52915882
Coursera上在推导代价函数时一笔带过了,没有过程,现推导如下:
所给代价函数:
J(θ)=−1m[∑mi=1y(i)loghθ(x(i))+(1−y(i))log(1−hθ(x(i)))]
其中:
hθ(x(i))=11+e−θTx
令 z=θTx=θ0+θ1x1+....+θnxn
则 ∂z∂(θj)=x(i)j
hθ(x(i))=11+e−z=ez1+ez
j(θ)=−1m[∑mi=1y(i)loghθ(x(i))1−hθ(x(i))+log(1−hθ(x(i)))=−1m[∑mi=1y(i)logez(i)1+ez(i)1−ez(i)1+ez(i)+log(1−ez(i)1+ez(i))]=−1m[∑mi=1y(i)z(i)−log(1+ez(i))]
j(θ)′=−1m[∑mi=1y(i)∗∂z(i)∂j−ez(i)1+ez(i)∗∂z(i)∂j]=−1m[∑mi=1y(i)−hθ(x(i))]∗∂z(i)∂j=1m[∑mi=1(hθ(x(i))−y(i))∗x(i)j]