逻辑回归梯度下降法的推导过程

逻辑回归代价函数的求导过程推导

逻辑回归的代价函数可以统一写成如下一个等式：

J(θ)=−1m[∑mi=1y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))] J(θ)=−1m[∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]

其中： hθ(x(i))=11+e−θTx hθ(x(i))=11+e−θTx

为了避免求导过程太冗长复杂，我们做一些显示的简化：

J(θ)=−1m[∑mi=1K(θ)] J(θ)=−1m[∑i=1mK(θ)]

其中：

K(θ)=y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))) K(θ)=y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))

hθ(x(i))=11+e−θTx hθ(x(i))=11+e−θTx

下面开始我们的推导过程：如果要求 J(θ) J(θ)对某一个参数 θ θ的偏导数，则：

（1）根据求导公式，可以先把常数项 −1m∑mi=1 −1m∑i=1m提取出来，这样就只需要对求和符号内部的表达式求导，即：

J(θ)′=−1m[∑mi=1K(θ)′] J(θ)′=−1m[∑i=1mK(θ)′]

K(θ)′=(ylog(hθ(x))+(1−y)log(1−hθ(x)))′ K(θ)′=(ylog(hθ(x))+(1−y)log(1−hθ(x)))′

（为方便显示，先把右上角表示第i个样本的上标去掉） 

（2）根据对数复合求导公式， log(x)′=1xx′ log(x)′=1xx′，对 K(θ) K(θ)继续求导可得：

K(θ)′=y1hθ(x)hθ(x)′+(1−y)11−hθ(x)(1−hθ(x))′

K(θ)′=y1hθ(x)hθ(x)′+(1−y)11−hθ(x)(1−hθ(x))′

（3）根据幂函数复合求导公式， (yx)′=xyx−1x′ (yx)′=xyx−1x′，及以e为底的指数求导公式，对 hθ(x) hθ(x)继续求导可得：

hθ(x)′=(11+e−θTx)′=−(1+e−θTx)′(1+e−θTx)2=e−θTx(θTx)′(1+e−θTx)2=(11+e−θTx(1−11+e−θTx))(θTx)′=hθ(x)(1−hθ(x))(θTx)′

hθ(x)′=(11+e−θTx)′=−(1+e−θTx)′(1+e−θTx)2=e−θTx(θTx)′(1+e−θTx)2

        =(11+e−θTx(1−11+e−θTx))(θTx)′=hθ(x)(1−hθ(x))(θTx)′

同理，

(1−hθ(x))′=−e−θTx(θTx)′(1+e−θTx)2=−hθ(x)(1−hθ(x))(θTx)′

(1−hθ(x))′=−e−θTx(θTx)′(1+e−θTx)2=−hθ(x)(1−hθ(x))(θTx)′

（4）把步骤3的结果带入步骤2，化简后可得：

  K(θ)′=(y−hθ(x))(θTx)′ K(θ)′=(y−hθ(x))(θTx)′

再把上面结果带入步骤1，化简后可得：

  J(θ)′=1m[∑mi=1(hθ(x)−y)(θTx)′] J(θ)′=1m[∑i=1m(hθ(x)−y)(θTx)′]

最后 (θTx)′ (θTx)′，对第j个 θ θ求偏导，结果即 Xj Xj（j表示样本中第几项），得到最终结果：

  ∂J(θ)∂θj=1m[∑mi=1(hθ(x(i))−y(i))x(i)j]