逻辑斯蒂回归梯度下降法推导

转载自：原文

令 w^=[wTb]T ，对于最大化似然函数

l(w^,b)=∑i=1My(i)log(σ(w^x(i)))+(1−y(i))log(1−σ(w^x(i)))

注意是 复合求导 ，其中sigmoid函数的导数为 σ′(x)=σ(x)(1−σ(x)) ，因此计算w的第j个分量的梯度为

∇wj===∑i=1My(i)1σ(w^x(i))σ(w^x(i))(1−σ(w^x(i)))x(i)j+(1−y(i))−11−σ(w^x(i))σ(w^x(i))(1−σ(w^x(i)))x(i)j∑i=1My(i)(1−σ(w^x(i)))x(i)j+(y(i)−1)σ(w^x(i))x(i)j∑i=1M(y(i)−σ(w^x(i)))x(i)j

第j个分量的迭代公式为 wj=wj-∇wj