对损失函数以及参数w的梯度下降公式的推导

根据《统计学习方法》第6章中6.1节介绍，下面对损失函数以及参数$w$的梯度下降公式的推导：
$Sigmoid$函数为：
$$g(z)=\frac{1}{1+e^{-z}}$$ 给定一个样本$x$，可以使用一个线性函数对自变量进行线性组合 $$z=w_0+w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n=\sum _{i=0}^n{w}_i{x}_i=w^{T}X$$ 根据$sigmoid$函数，预测函数表达式为：
$$h_w(x)=g=w{(}^{T}X)=\frac{1}{1+e^{-w^{T}X}}$$
$$P(Y=1|X)=h_w(x)$$
$$P(Y=0|X)=1-h_w(x)$$
$$P(Y|X)=h_w(x{)}^y(1-h_w(x){)}^{1-y}$$

极大似然函数：
$$L(w)=\prod _{i=1}^m{h}_w(x_i{)}_i^y(1-h_w(x_i){)}^{1-y_i}$$
$$logL(w)=\sum _{i=1}^{m}log[h_w(x_i{)}^{y}i(1-h_w(x_i){)}^{1-y_i}]=\sum _{i=1}^m[y_{i}log{h}_w(x_i)+(1-y_i)log(1-h_w(x_i))]$$
损失函数：
$$J(w)=-\frac{1}{m}\sum _{i=1}^m[y_i\cdot log{h}_w(x)+(1-y_i)log(1-h_w(x_i))]=-\frac{1}{m}su{m}_{i=1}^m[y_i\cdot ln\frac{1}{1+e^{w{x}_i}}+(1-y_i)\cdot ln\frac{e^{-w{x}_i}}{1+e^{-w{x}_i}}]=-\frac{1}{m}su{m}_{i=1}^m[ln\frac{1}{1+e^{w{x}_i}}+y_i\cdot ln\frac{1}{e^{-w{x}_i}}]=\frac{1}{m}\sum _{i=1}m[-w{x}_i{y}_i+ln(1+e^{w{x}_i})]$$
梯度下降$w$参数的梯度为：
$$\frac{\partial J(w)}{\partial w_i}=\frac{1}{m}\sum _i^m[-x_{i,j}{y}_i+\frac{x_{i,j}\cdot e^{w{x}_i}}{1+e^{w{x}_i}}]=\frac{1}{m}\sum _i^m{x}_{i,j}(\frac{1}{1+e^{-w{x}_i}}-y_i)=\frac{1}{m}\sum _i^m[h_w(x_i)-y_i]x_{i,j}$$

所以最后的$w$参数公式为：
$$w_{j+1}=w_j-\alpha \sum _{i=1}^m[h_w(x_i)-y_i]x_{i,j}$$ 对于随机梯度下降的$w$参数公式为：
$$w_{j+1}=w_j-\alpha [h_w(x)-y]x_j$$