随便写写的残差神经网络笔记

这里可能用很多错误内容，不建议阅读，我最近在看Residual Neural Network，以前对NN都不太了解。只是写一下加强印象。

NN学习笔记（Neural Network）

NN的框框

图1 不同的NN模型图示(标准神经网络，卷积神经网络，循环神经网络)

标准的NN一般用于做预测，CNN一般用于图像识别，RNN一般用于处理一维数据（时序数据）。

符号表示

对于一个训练样本来说，他可能是一张$64\times 64$，RGB通道的图片，那么令样本$x$为这个图片展开后的数组，大小为$n_x=12288$。对应的，有一个标签$y$，可能用来表示这张图片里面是否有一只猫， y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1}。记这样的$(x,y)$为一个带标签的样本。

如果说我们有$m$个训练样本，记为$m=m_{train}$，$m_{test}$个测试样本。分别为：$(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots ,(x^{(m)},y^{(m)})$。

那可以用一个矩阵来表示他：
$$X=\left[x^{(1)},x^{(2)},\dots ,x^{(m)}\right]\in {\mathbb{R}}^{n_x\times m},Y=\left[y^{(1)},y^{(2)},\dots ,y^{(m)}\right]\in {\mathbb{R}}^{1\times m}$$

逻辑回归

给定一个$x$，想要得到的结果是$\hat{y}=Pr[y=1|x]$，即样本$x$满足条件的概率。

$x\in {\mathbb{R}}^{n_x}$，模型是$w\in {\mathbb{R}}^{n_x},b\in \mathbb{R}$。

在线性回归里面是：$\hat{y}=w^{T}x+b$，但这样得到的结果是不在$[0,1]$区间内的。

所以在逻辑回归中：$\hat{y}=\sigma (w^{T}x+b)$，其中sigmoid函数$\sigma (z)=\frac{1}{1+e^{-z}},z=w^{T}x+b$。

损失函数

逻辑回归中，$z^{(i)}=w^T{x}^{(i)}+b$，${\hat{y}}^{(i)}=\sigma (z^{(i)}{)}_{1\le i\le m}$，目标是使${\hat{y}}^{(i)}\approx y^{(i)}$。

损失函数（loss function）的一种定义方法是$\mathcal{L}(\hat{y},y)=\frac{1}{2}(\hat{y}-y{)}^2$，但在逻辑回归中一般不这么做，

在逻辑回归中用到的损失函数是：$\ell (\hat{y},y)=-\left(y\log \hat{y}+(1-y)\log (1-\hat{y})\right)$。

定义成本函数（cost function）为：
$$J(w,b)=\frac{1}{m}\sum _{i=1}^m\ell ({\hat{y}}^{(i)},y^{(i)})=-\frac{1}{m}\left(y^{(i)}\log {\hat{y}}^{(i)}+(1-y^{(i)})\log (1-{\hat{y}}^{(i)})\right)$$

为什么损失函数是这个：

注意到：
$$\begin{array}{rl}\text{If}y=1& :p(y|x)=\hat{y}\\ \text{If}y=0& :p(y|x)=1-\hat{y}\end{array}$$
结合上面两个式子，可以得到$p(y|x)={\hat{y}}^y(1-\hat{y}{)}^{1-y}$。

我们的目标是让$p(y|x)$尽可能大，注意$\log$是一个递增函数，就相当于让$-\log (p(y|x))$尽可能小。也就得到了$\mathcal{L}(\hat{y},y)$这个式子。

梯度下降

目标是找到一组$(w,b)$使得$J(w,b)$最小，因此可以每次进行更新：
$$\begin{gathered} w:=w-\alpha \frac{\partial J(w,b)}{\partial w} \\ d:=d-\alpha \frac{\partial J(w,b)}{\partial b} \end{gathered}$$
其中$\alpha$是学习率，后面是对$w，b$分别求偏导。（偏导就是对有一个以上变量的函数中的某个变量求导的意思）

算法：

---

$$\begin{array}{rl}& \text{For }i\text{ in }[1,m]:\\ & z^{(i)}=w^T{x}^{(i)}+b\\ & a^{(i)}=\sigma (z^{(i)})\\ & J\stackrel{+}{=}-\left[y^{(i)}\log a^{(i)}+(1-y^{(i)})\log (1-a^{(i)})\right]\\ & \mathbf{d}{z}^{(i)}=a^{(i)}-y^{(i)}\\ & \text{For }j\text{ in }{n}_x:\\ & \mathbf{d}{w}_j\stackrel{+}{=}{x}_j^{(i)}d{z}^{(i)}\\ & \mathbf{d}b\stackrel{+}{=}d{z}^{(i)}\\ & J/=m,\mathbf{d}w/=m,\mathbf{d}b/=m\end{array}$$

对$j\in [1,n_x]$计算$w_j=w_j-\alpha \mathbf{d}{w}_j$，$b=b-\alpha \mathbf{d}b$。

---

向量化（numpy）加速

可以取消上面$\text{For }i\text{ in }[1,m]:$的循环，通过$X=[x^{(1)},...,x^{(m)}],Z=np.dot(w.T,X)+b,A=\sigma (Z)$,

非向量版本：

向量化版本：

def gradient():
    Z=np.dot(w.T,X)+b
    A=sigmoid(Z)
    J= - (y*np.log(A) + (1-y)*np.log(1-A))/m
    dZ = A-y
    dw = X*dZ.T/m
    db = np.sum(dZ)/m
    return dw,db

def train():
    iterations = 1000
    lr = 0.01
    for i in range(iterations):
        dw,db = gradient()
        w = w-lr*dw
        b = b-lr*db
    return w,b

残差神经网络

Residual Block

在通常情况下，一个深度神经网络中，记不同的激活层为$a^{[l]},a^{[l+1]},a^{[l+2]}$。

变化方式为$a^{[l]}\stackrel{\mathsf{L}\mathsf{i}\mathsf{n}\mathsf{e}\mathsf{a}\mathsf{r}}{⟶}{z}^{[l+1]}\stackrel{\mathsf{R}\mathsf{e}\mathsf{L}\mathsf{U}}{⟶}{a}^{[l+1]}\stackrel{\mathsf{L}\mathsf{i}\mathsf{n}\mathsf{e}\mathsf{a}\mathsf{r}}{⟶}{z}^{[l+2]}\stackrel{\mathsf{R}\mathsf{e}\mathsf{L}\mathsf{U}}{⟶}{a}^{[l+2]}$。

其中$\mathsf{L}\mathsf{i}\mathsf{n}\mathsf{e}\mathsf{a}\mathsf{r}:z^{[l+1]}=W^{[l+1]}{a}^{[l]}+b^{[l+1]},\mathsf{R}\mathsf{e}\mathsf{L}\mathsf{U}:a^{l+1}=g(z^{[l+1]}),g(x)=max(0,x)$。

Residual Block就是在执行下一个ReLU之前，将输入变为$z^{[l+1]}\oplus a^{[l]}$，或者说可以跳跃两个链接，得到$z^{[l+2]}\oplus a^{[l]}$。

为什么Residue Network可以做的更深呢？

考虑在一个原本的Big NN后面加上一个Residue Block。

如果说这个模型本来就已经训练的不错了，加上最后一个Residue Block也只是做了一个恒等映射，式子为：
$$\begin{array}{rlrl}{a}^{[l+2]}& =g(z^{[l+2]}+a^{[l]})& & \text{Note that }{a}^{[l]}\ge 0\text{ because it is a output of }\mathsf{R}\mathsf{e}\mathsf{L}\mathsf{U}\\ & =g(W^{[l+2]}{a}^{[l+1]}+b^{[l+2]}+a^{[l]})& & \text{Then set }{W}^{[l+2]},b^{[l+2]}\text{ to be 0 to get an identity function}\\ & =a^{[l]}& & \end{array}$$
Residue Block做恒等映射是非常free的。所以增加层数最起码不会负面影响网络的性能。

总结来说的话，只要把$W,b$设置为0，至少不会影响网络的准确程度，而是否设置为0需要看反向传播，让网络自己来决定这里$W,b$到底取多少。而普通的神经网络要实现恒等映射是比较复杂的。这就是残差网络的优势所在。

如果$z^{[l+2]}和a^{[l]}$的维数不等怎么办

其实很简单就是加上一个$Ws$，比如$z^{[l+2]}$是256维的，而$a^{[l]}$只有128维，那就可以令$Ws\in {\mathbb{R}}^{256\times 128}$,$z^{[l+2]}+Ws\cdot a^{[l]}$