逻辑回归的梯度下降计算

• 目的：找到损失函数的最小值；方法：梯度下降
• $z=w^{T}x+b$
• $\hat{y}=a=\sigma (z)$
  

损失函数

• 单个训练样本的损失函数：

$$L(\hat{y},y)=-(y\log \hat{y})-(1-y)\log (1-\hat{y})$$

$$L(a,y)=-(y\log a)-(1-y)\log (1-a)$$

• 全体训练样本的损失函数：
  $$J(W,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})$$

梯度下降过程计算（注意字母大小写）

• 单个训练样本，参数w和b的更新公式为：
  $$w:=w-\alpha \frac{\partial J(w,b)}{\partial w}，b:=b-\alpha \frac{\partial J(w,b)}{\partial b}$$
• 全体训练样本，参数$W$和$b$的更新公式为：
  $$W:=W-\alpha dW，b:=b-\alpha db$$
• 计算$J$关于$z$的导数：
  $$\frac{\partial J}{\partial a}=-\frac{y}{a}+\frac{1-y}{1-a}$$

$$a=\sigma (z)=\frac{1}{1+e^{-z}}⟹\sigma (z{)}^{\prime }=\sigma (z)(1-\sigma (z))⟹\frac{\partial a}{\partial z}=a(1-a)$$

$$⟹dz=\frac{\partial J}{\partial z}=\frac{\partial J}{\partial a}\ast \frac{\partial a}{\partial z}=(-\frac{y}{a}+\frac{1-y}{1-a})\ast a(1-a)=a-y$$

• 计算$J$关于$W$的导数：
  $$dw=\frac{\partial J}{\partial w}=\frac{\partial J}{\partial a}\ast \frac{\partial a}{\partial z}\ast \frac{\partial z}{\partial w}=dz\ast x=xdz⟹dW=\frac{\partial J}{\partial W}=\frac{1}{m}Xd{Z}^T$$
• 计算$J$关于$b$的导数：
  $$db=\frac{\partial J}{\partial b}=\frac{\partial J}{\partial a}\ast \frac{\partial a}{\partial z}\ast \frac{\partial z}{\partial b}=dz\ast 1=dz⟹db=\frac{1}{m}np.sum(dZ)$$