![d15c76482e3f9c112a721609cfe94ff0.png](https://i-blog.csdnimg.cn/blog_migrate/65a25dd9867538a528e6c1fc5fc4ab4e.jpeg)
本篇是该系列的第三篇,建议在阅读本篇文章之前先看前两篇文章。
Mr.括号:神经网络15分钟入门!足够通俗易懂了吧
Mr.括号:神经网络15分钟入门!——反向传播到底是怎么传播的?
在本文中将使用python实现之前描述的两层神经网络,并完成所提出的“象限分类”的问题。
需要注意的是,虽然标题叫做神经网络15分钟入门,但是到这篇文章,对于没接触过python的同学,15分钟怕是不太够。好在python本身不算太难,如果你有其他语言的基础,结合本文尽量详细的讲解,对于算法层面的理解应该还是可以做到的。如果还是不能理解,建议先入门python再来看本文,毕竟想做深度学习,对语言的掌握是基本要求。
另外,这篇文章的正确食用方法是将代码搞到自己的电脑上,然后单步调试逐行看参数的变化,如有不明白的地方再对照文章中的讲解来理解。单纯靠看文章是不太容易融会贯通的(可以脑内debug的同学可以忽略)。
一、运行环境
运行环境:Python 3.6.5+Anaconda3+VS Code
Anaconda是一个环境管理器,安装Anaconda,就相当于安装了python+各种工具包,这些工具包在我们进行神经网络的应用时十分必要。
VS Code是微软的免费代码编辑器,功能相当强大,插件相当丰富,界面非常美观。当然,你也可以用pycharm或者eclipse,看个人习惯。
运行环境的搭建就不详细介绍了,在网上能找到很多教程,如果有疑问可以留言,需要的话我会写一篇番外对环境搭建进行详细讲述。
二、编程实现
1.导入numpy包
import
2.前向传播函数
# 前向传播函数
这一段程序是定义了了一个名为affine_forward的函数,其功能就是计算这个公式(仿射):
![7c187e848f6c3b99a5185ad8929388bd.png](https://i-blog.csdnimg.cn/blog_migrate/d42f034a7ad8dba58ba07a47c47fdd9b.png)
这个函数的输入参数就是公式中的矩阵X,W1和b1,对应到程序中就是x,w和b。
不过需要注意的是,程序中的输入参数x,其形状可以是(N,d_1,...,d_k),这是什么意思呢?在我们这个例子中,输入参数x是:
[2,1],
[-1,1],
[-1,-1],
[1,-1]]
它是一个4行2列的二维数组,那么x的形状就是(4,2),对应的参数N=4,d_1=2。这是我们用来做训练的坐标数据,分别对应了I、II、III、IV象限。
在某些应用场景中,x的维度可能更高。比如对于一个20*20像素的4张灰度图,x的形状将是(4,20,20),对应的参数就是N=4,d_1=20,d_2=20。(这里边第一个参数用N表示,它代表的是同时用于计算前向传播的数据有几组,后边的参数d_1~d_k代表的是数据本身的形状。)
对于这种维度大于2的x来说,需要对其进行重新塑形,也就是将(4,20,20)的高维数组变化为(4,20*20)这样的二位数组。
为什么要这么做呢?是为了方便计算。这样变换之后高维的向量被“拍扁”成一维向量(长度为20*20的一维向量),对应的W和b也都是一维的,既统一了参数形式,又不会影响数据的正常使用。
这个“拍扁”的动作,是用上述代码中的这两行完成的:
N
x.shape[0]是获取数组x的第0维长度,也就是数据的组数,对于上述的4行2列的数组,其值为4;对于上述(4,20,20)的数组,其值也为4.
x.reshape(N,-1)是对x重新塑形,即保留第0维,其他维度排列成1维。对于形状为(4,2)的数组,其形状不变,对于形状为(4,20,20)的数组,形状变为(4,20*20)。以此类推。
在完成reshape后,就可以进行矩阵的线性运算了:
out = np.dot(x_row, w)+ b # (N,M)
.dot就是numpy中的函数,可以实现x_row与w的矩阵相乘。x_row的形状为(N,D),w的形状为(D,M),得到的out的形状是(N,M)。
cache
上面这句是将当前x,w和b的值缓存下来,留作反向传播时使用。
3.反向传播函数
# 反向传播函数
这一段是实现计算仿射层的反向传播的函数。这篇文章的2.3节讲的就是这段代码的原理,如果不清楚可以先出门左转看一下。
函数中第一句就是读取缓存的x,w和b的值,为什么要这样做呢?仿射变换反向传播的最重要的3个目的,分别是:①更新参数w的值②计算流向下一个节点的数值③更新参数b的值。“更新”的时候需要“旧”值,也就是缓存值,具体操作如下:
①为了得到w的值,要将上一节点输入的值(dout)乘以x。
dw = np.dot(x_row.T, dout) # (D,M)
②为了得到流入下一个节点的值(x),要将上一节点的输入值(dout)乘以w。你可能发现了,①中为了得到w是乘以的x,②中为了得到x是乘以的w,也就是将系数交叉相乘了。
dx = np.dot(dout, w.T) # (N,D)
③为了得到b,只需要将out直接传过来就可以,为了保持维度一致,这里将out求和。
db = np.sum(dout, axis=0, keepdims=True) # (1,M)
在仿射变换反向传播这里,各种矩阵的维度可能会让你感到困惑。这里的维度包含三个,分别是D、M和N。
看一下下图,其中包括两个仿射变换,我们以第一个举例,其变换公式为H=X*W1+b1。该仿射变换对应到程序中的D的值为2,M的值为50,N的值为4。怎么理解呢?X的维度就是N*D,而M的值就是W1的第二个维度,这里记住就好了,每个仿射变换都是这样的(其实不记住也没关系,这里没有什么物理含义,就是单纯的矩阵变换的维度而已。这几个维度在反向传播时可能难理解,这是数学公式推导来的,迷惑的时候找出这篇文章过来看一遍就明白了)。
![df6d6fc78a66300c8ccf433ca2b1c43c.png](https://i-blog.csdnimg.cn/blog_migrate/71bdc2fd7c8ffca865d6e16946d30ec4.jpeg)
4.参数初始化
X
这一段程序对一些必要的参数进行了初始化,程序较为简单,看注释即可,不再详细解释。
对于训练数据以及训练模型已经确定的网络来说,为了得到更好的训练效果需要调节的参数就是上述的隐藏层维度、正则化强度和梯度下降的学习率,以及下一节中的训练循环次数。
5.训练与迭代
for
这段程序是网络训练的核心,我将按照①前向传播②Softmax层③计算loss值④反向传播⑤参数更新这五个小结的顺序依次讲解:
①前向传播
# ①前向传播
第一句H,fc_cache = affine_forward(X,W1,b1) 调用了之前写的前向传播的函数,完成了第一层网络的矩阵线性代数运算。
第二句H = np.maximum(0, H)是从0和H中选择较大的值赋给H,也就是实现了ReLU激活层函数。
![089d33a44ab4d383562d033a53c82b07.png](https://i-blog.csdnimg.cn/blog_migrate/89610129ff581a39f905fa9904104fad.jpeg)
第四句Y,cachey = affine_forward(H,W2,b2),完成了第二层网络的矩阵线性代数运算。
②Softmax层计算
# ②Softmax层计算
这两行是为了实现Softmax层的计算,在之前我们说过,Softmax的计算公式是:
![04842f600c486e1c86a345f88a50c17d.png](https://i-blog.csdnimg.cn/blog_migrate/9a0e05be9660dea8fce41ee1bc2c3e7f.png)
不过在实际应用中会存在一个问题,比如i的值等于1000时,e^1000在计算机中会变成无穷大的inf,后续计算将无法完成,所以程序中会对计算公式做一些修改,实际使用的公式为:
![4f9f87497cac1cd496e18d97f5c2495c.png](https://i-blog.csdnimg.cn/blog_migrate/0d74b3ff74cc819141ed7625dc206c00.png)
在指数上减去常数C不影响最终结果(证明略),而这个常数C通常取i中的最大值。
第一句probs = np.exp(Y - np.max(Y, axis=1, keepdims=True)) 就是求输出各个行的指数值,举个例子,Y的值如果是:
[[-4,17,20,-4],
[10,-2,5,3],
[-5,3,4,10],
[-5,5,5,2]]
np.max(Y, axis=1, keepdims=True)计算得到的是[[20],[10],[10],[5]],后边括号里的参数axis代表以竖轴为基准 ,在同行中取值; keepdims=True代表保持矩阵的二维特性。
所以np.exp(Y - np.max(Y, axis=1, keepdims=True)) 代表:Y矩阵中每个值减掉改行最大值后再取对数。
第二句probs /= np.sum(probs, axis=1, keepdims=True) 以行为单位求出各个数值对应的比例。也就是最终实现了Softmax层的输出。
③计算loss值
# ③计算loss值
复习一下:交叉熵损失的求法是求对数的负数。
第一句N = Y.shape[0]取了最终输出的维度,这个例子中为4,即四个象限。
第二句打印各个数据的正确解标签对应的神经网络的输出。
其中probs[np.arange(N), t]讲解一下:
N为4时,np.arange(N)会生成一个Numpy数组[0,1,2,3]。t中标签是以[0,1,2,3]的形式储存的,所以probs[np.arange(N), t]能抽出各个数据的正确解标签对应的神经网络输出,在这个例子中,probs[np.arange(N), t]会成成numpy数组[probs[0,0], probs[1,1], probs[2,2], probs[3,3]]。
第三句loss = -np.sum(np.log(probs[np.arange(N), t])) / N中先求了N维数据中的交叉熵损失,然后对这N个交叉熵损失求平均值,作为最终loss值。
④反向传播
# ④反向传播
反向传播计算是从Softmax层的输出开始的。你是不是想问为什么不是从loss值开始算?
回看上一篇文章的2.5节,你会发现Softmax-with-Loss层的反向传播结果计算,本身就是与loss无关的。而只与Softmax层输出结果和教师标签有关。换句话说,即使是从loss开始计算反向传播,经过一系列化简之后,这个loss值也会被化简掉,化简后的结果只包括Softmax层的输出和教师标签。
第一句代码很简单,就是将Softmax的输出值赋给dx, 这里dx代表反向传播的主线值。dx[np.arange(N), t]-=1这句代码
第二句代码是实现上一篇文章中y-t的操作(y就是Softmax层的输出)。dx[np.arange(N), t]-=1这句代码中,dx是一个4*4的数组,而t是一个内容为[0,1,2,3]的数组(见其初始化),N的值为4。np.arrange(N)会生成一个从0到3的数组[0,1,2,3],因为t中的标签是以[0,1,2,3]的形式存储的,所以dx[np.arange(N), t]能抽出各个数据的正确解标签对应的神经网络的输出。在这个例子中dx[np.arange(N), t]会成成NumPy数组[dx[0,0],dx[1,1],dx[2,2],dx[3,3]。
第四、六句试一次仿射变幻的反向传播,上边说过了,不在具体解释了。
第五句是ReLU激活层的反向传播,至于为什么这样写,也去看上一篇文章吧~
⑤参数更新
# ⑤参数更新
前两行是引入正则化惩罚项更新dW,后四行是引入学习率更新W和b。这部分理解起来比较简单,如果有疑问可以参考上篇文章的第3节。
6.验证
test
给出了一组数据test,对已经训练好的网络进行验证。
其实验证的方法和训练时的正向传播的过程基本一致,即第一层网络线性计算→激活→第二层网络线性计算→Softmax→得到分类结果。
这部分代码在之前也大多讲过,不再详述。
三、运行结果
在运行10000次迭代后,loss值以肉眼可见的速度下降。
最终loss值为:0.0040015
最终输出结果为:
![5c378418b36d3779e915f9c190c8c8ae.png](https://i-blog.csdnimg.cn/blog_migrate/c2b2c2cc812940cd1a7e598031ae87e0.png)
可见分类正确。
四、总结
本例是一个很简单的神经网络的例子,我们只用了一组数据用来训练,其训练结果应该是比较勉强的。之所以最终效果还行,只是我们选择验证的例子比较合适。要想得到比较完美的模型,需要有大量的、分散的训练数据,比如第一象限不仅要有[1,1]这种数据,还要有[1000,1],[1,1000]这种,这里就不再详述了。
“神经网络15分钟入门”系列到这里就结束啦。如果这三篇文章里的内容能够融会贯通,相信对你后边学习深度学习会有一些帮助。在神经网络学习过程中能遇到的难点和坑我尽量都点出来了,如果还有什么疑问请留言给我吧,也许会出一篇番外集中回答。
欢迎持续关注我的专栏与信号处理有关的那些东东
参考:
《深度学习入门:基于Python的理论与实现》