深度学习反向传播公式推导

损失函数

我们在逻辑回归中用到的损失函数是：
$$L(\hat{y},y)=-y\log (\hat{y})-(1-y)\log (1-\hat{y})$$
为什么要用这个函数作为逻辑损失函数？当我们使用平方误差作为损失函数的时候，你
会想要让这个误差尽可能地小，对于这个逻辑回归损失函数，我们也想让它尽可能地小，为
了更好地理解这个损失函数怎么起作用，举两个例子：
当y = 1时损失函数$L=-\log (\hat{y})$，如果想要损失函数$L$尽可能得小，那么$\hat{y}$就要尽可能大，因为 sigmoid 函数取值[0,1]，所以$\hat{y}$会无限接近于 1。
当y = 0时损失函数$L(\hat{y},y)=-(1-y)\log (1-\hat{y})$，如果想要损失函数$L$尽可能得小，那么$\hat{y}$就要尽可能小，因为 sigmoid 函数取值[0,1]，所以$\hat{y}$会无限接近于 0

成本函数

损失函数是在单个训练样本中定义的，它衡量的是算法在单个训练样本中表现如何，为了衡量算法在全部训练样本上的表现如何，我们需要定义一个算法的代价函数，算法的代价函数是对m个样本的损失函数求和然后除以m:

逻辑回归中的梯度下降

假设样本只有两个特征$x_1$和$x_2$，为了计算z，我们需要输入参数$w_1$、 $w_2$和b，除此之外还有特征值$x_1$和$x_2$。因此z的计算公式为$z=w_1{x}_1+w_2{x}_2$
回想一下逻辑回归的公式定义如下：$\hat{y}=a=\sigma (z)$)其中$z=w^{T}x+b$，$\sigma (z)=\frac{1}{1+e^{-z}}$
损失函数：$$L(\hat{y},y)=-y\log (\hat{y})-(1-y)\log (1-\hat{y})$$
代价函数：

假设现在只考虑单个样本的情况，单个样本的代价函数定义如下：
$$L(a,y)=-y\log (a)-(1-y)\log (1-a)$$
其中a是逻辑回归的输出， y是样本的标签值
$w$和$b$的修正量可以表达如下
$$w=w-a\frac{\partial J(w,b)}{\partial w}$$, $$b=b-a\frac{\partial J(w,b)}{\partial b}$$
因为我们想要计算出的代价函数$L(a,y)$的导数，首先我们需要反向计算出代价函
数$L(a,y)$关于$a$的导数，在编写代码时，你只需要用$da$ 来表示$\frac{dL(a,y)}{da}$
通过微积分得到:$$\frac{dL(a,y)}{da}=-\frac{y}{a}+\frac{(1-y)}{1-a}$$
这个结果是通过对代价函数$L(a,y)$求a的偏导得出来的,求偏导时将$y$看成常量,$a$看成变量,通过求导公式得到$\log a$的导数为$\frac{1}{a}$,这里的$\log a$ 我更倾向于用$\ln a$来表示,因为$\log a$求导过后会有个常量$\ln 10$,而$\ln a$ 求导过后就是$\frac{1}{a}$,虽然没有资料直接说明此处就是$\ln$ 但是通过对结果的反推,个人感觉应该是$\ln$函数。同理对$\log (1-a)$ 求导得到$-\frac{1}{1-a}$,为什么要加个"$-$“号,因为这是复合函数,对$\log$求完导后还要对$1-a$ 求导,而$1-a$ 对$a$求导得到的就是$-1$ ,因此需要加一个”$-$ "号。

此时，我们已经完成代价函数对$a$ 的偏导，接下来需要求代价函数对$z$的偏导。对$z$的求偏导，需要利用微分里的链式法则。即:$$\frac{dL(a,y)}{dz}=\frac{dL}{dz}=\frac{dL}{da}\cdot \frac{da}{dz}$$这里的$\frac{dL}{da}$我们已经求出来过了，也就是$da$,前面有提到$\hat{y}=a=\sigma (z)$,
而sigma函数的表达式又为$\frac{1}{1+e^{-z}}$，即$a=\sigma (z)=\frac{1}{1+e^{-z}}$ 这时我们就可以求出$a$对$z$的偏导数了，也就是说求出$\frac{da}{dz}$，同样的我们这里还是利用求导公式将$1+e^{-z}$看做一个整体，令$t=1+e^{-z}$，对$\sigma (z)$进行求导得到**$\sigma ’(z)=-\frac{1}{t^2}$** ,因为$t$ 也是的$z$函数,所以还需要对$t$进行求导，求导方式同样是使用复合函数的求导原则得到$t^{\prime }=-e^{-z}$,因此，$${\sigma }^{\prime }(a)=-\frac{1}{(1+e^{-z}{)}^2}\cdot (-e^{-z})=\frac{e^{-z}}{(1+e^{-z}{)}^2}=\frac{1+e^{-z}-1}{(1+e^{-z}{)}^2}=a-a^2$$ ,为什么结果会变成$a-a^2$，因为我们定义的**$a=\sigma (z)=\frac{1}{1+e^{-z}}$** ，所以$\frac{da}{dz}$最终结果为$a-a^2$，再利用之前的链式法则，可以得到$$\frac{dL(a,y)}{dz}=\frac{dL}{da}\cdot \frac{da}{dz}=(-\frac{y}{a}+\frac{(1-y)}{1-a})\cdot (a-a^2)=a-y$$

接下来需求求解的是就是$dw=\frac{dL(a,y)}{dw}$，同样的还是利用链式法则我们可以得到
$$dw=\frac{dL(a,y)}{dw}=\frac{dL}{dw}=\frac{dL}{da}\cdot \frac{da}{dz}\cdot \frac{dz}{dw}$$,在前面的过程中我们求出了$\frac{dL}{da}和\frac{da}{dz}$，现在我们需要求的就是$\frac{dz}{dw}，因此我们需要知道w对z的函数$也就是$z=wx+b$，这样求$w对z$的偏导就很容易了，只需将$x$看成常量即可，得到$\frac{dz}{dw}=x$，所以$dw=dz\cdot x$，同样的方法可以求出$\frac{dz}{db}=1，也就是说db=dz$

常见的求导公式