其他两篇:
深度学习初步,全连接神经网络,MLP从原理到实现(二)原理部分,过拟合,激活函数,batchsize和epochs,训练DL模型的建议
深度学习初步,全连接神经网络,MLP从原理到实现(三)实现部分,用java实现MLP
下面的内容主要是李宏毅老师的机器学习课程,加上自己的整理和补充,文章有点长,有一定的ml基础,认真读就能搞懂,数学部分建议自己手写推导。如果对反向传播部分没有理解,强烈建议多听几遍李宏毅老师机器学习中的bp部分。b站就有资源。
1.多层全连接神经网络
如图是一个多层全连接神经网络,input层是输入层,Layer[1]到Layer[L-1]是隐层,Layer[L]是输出层,层与层之前每两两个单元(神经元或者输出/输入单元)之间存在连接,代表着一个权重,单个神经元干什么事呢?
前一层的输出作为当前层的输入,用权重与输入之间的乘积和+偏置的值Z作为到激活函数的输入,激活函数的值输出到下一层,这里Z的计算和回归中没有区别,如果激活函数是sigmoid就成了logistic回归。
变量命名约定和矩阵化运算:
所有变量上标代表所处的神经网络的第几层
表示L-1层神经元j到l层中神经元i连接的权重
将l-1和l之间的权重排列成矩阵:
这样看矩阵中行的大小就是第L层的神经元个数,矩阵的列就是第L-1层的神经元个数,矩阵中的一行表示了l层中神经元i所连接的l-1层的所有权重。
考虑偏置:
表示第l层第i个神经元和上一层l-1的偏置,这样l层的所有偏置值构成一个向量。
前面提到Z值是输入和权重的乘积和加上偏置。
这里用表示这个值,这也是激活函数的输入值
那么l层第i个神经元的z值可以表示为:
这样,l层所有神经元Z值可以矩阵化运算
将输入到激活函数,其输出值将作为l+1层的输入
矩阵运算可以并行,所以可以使用gpu加速。
问题:
(1)将多个线性层叠在一起意味着什么?为什么效果好?
单层线性模型表达不够强,我认为一定程度上参数越多对数据拟合越好,越能深层次挖掘数据的特征,这就好像CRF和HMM的对比,CRF参数更多,效果往往也更好,而CRF这些特征组合都是人为定义的。多层神经网络中可以把中间的隐层认为是一个Feature extractor(特征提取器),不必像CRF那样去自己定义特征,实际上要定义好的有效的特征是很难的,比如面对音频,图像这种数据定义特征就很麻烦,使用深度学习的方法比传统机器学习方法就好得多。自然语言人是能够理解的,所以在nlp中人为定义的特征就可以达到比较好的效果。
(2)深度学习的“深”
举例:ImgNet比赛的神经网络深度
可以看到随着层数越多错误率不断下降,一定是这样吗?为什么往宽度走,也就是降低层次,提升单层的神经元的数量
(3).仅仅是多层全连接的神经网络就需要调整很多参数。多少层?每层神经元多少个?使用什么激活函数?优化算法?代价函数?
2.多层全连接神经网络中的反向传播
损失函数有很多均方误差,交叉熵损失函数等等。
把所有样本的损失值加起来为总的损失,参数即为神经网络中的权重,将总的损失优化到最小即为最终的权重参数,优化使用梯度下降,只不过可能是各种梯度下降的变形。
如何计算用于更新参数的偏微分 是一个重要的问题。
补充:链式求导法则
要计算 这里L是总的损失,这里求导举例只举例单个样本对参数求导,总的直接所有样本加起来就行,所以以l代表单个样本的损失值。
反向传播:
为了使用梯度下降,需要求出梯度,也就是损失函数L关于权重w的一阶导数。设有N个样本,那么:
因为多个样本和单个样本求梯度没什么差别,所以下面的例子以求单个样本的损失函数(以l表示)对w的导数为例。类似的,专注损失l对某个特定的w的导数而不是所有w,因为其他w的求法都可以类似得到。
对于这样一个简单的nn结构:
关注左上角的局部部分:
损失函数l是在NN的输出端形成的,要求出l对w1的导数,就要利用开始提到的链式求导法则。
Z的值直接影响到了 ,所以链式求导从这里开始。
因为:
很容易直接得到就是x1,因为这里是输入层后的隐层,所以是x1,如果不是,直观的后面任意层的
就是前一层的输入a
没有
这么容易计算,因为z还影响了下一层的输入a,而a又进一步影响后面层的w,这种影响一直延续下去直到输出层。
仔细想想这里的Z就类似上图种的s,只不过NN结构中,Z影响到的变量要比图中的s更多。
接着,继续对 展开,Z紧接着送到了激活函数σ中,产生了a。所以:
就是激活函数的导数,写成
。
继续写出 。
根据链式法则:
所以:
如果z'和z''不是输出层,那么这个过程还有继续进行下去。我们把这个过程看作逆向的:
我们将求 这个过程反过来看:
比如:
我们要求 ,那么可以分为2个步骤,
前向传播求出
反向传播求
就是上一层的输出,本层的输入
而 需要从输出层开始计算。
有了 那么前面的
就可以反向回去。
比如:
这样从后往前计算就可以算出所有的 ,最后将
和
乘起来就可以得到
。(注意这里的思维要想成所有的w)
下面举一个实际的例子:
NN结构如图,规定激活函数使用sigmoid,损失函数使用交叉熵,输出层[y1,y2]使用softmax。输入单个样本x1,x2=1,2,y=[1,0](one-hot编码表示类别是y1)。
补充:softmax和交叉熵输出层的求导。
参考:https://blog.csdn.net/qian99/article/details/78046329
最后一层softmax做激活函数,那么输出a的表达式为:
z就是上一层的输入和权重的乘积求和再加上b
激活函数σ(z):
损失函数:
这里l是单个样本,求和是因为多个类别,比如总共有3个类别,如果某个样本的真实类别是2,那么标签是一个向量[0 1 0],遍历就是要遍历这个向量, 就是指不同类别的真实值(这里就只有y2=1,其他为0),
就是经过softmax后不同类别的概率分布。
要求的是:
、
这里 代表单个样本的损失,如果是多个样本只需要求和:
因为 直接影响了a的值,而因为softmax的特效,所有a的分母部分都包含了
。
影响了所有a的值:
根据链式法则:
先来计算 ,因为
,只对
求偏导,所以其他
均当作常数项。那么:
再计算 ,需要分情况讨论,因为j=i时,a的分子部分含有
。
当i=j:
当i≠j时:
将上面2种情况组合起来:
所以最后:
有了上面的例子开始计算:
输如样本x=[1,2],y=[1,0],权重初始如图,偏置b都为0.1
(1)先进行一次前向传播,计算所有的神经元输出输出a:
(2)反向传播计算梯度
符号说明:
表示第l(不包含输入层)层第i(从上往下数)个单元产生的z值
表示第l层第x个单元与第l-1层第y个单元之间连接的权重。
计算 :
第3层:
第2层:
第1层:
有了 ,计算
就很简单了:比如:
(3)向量化/矩阵化运算
但是这样串行的思想不利用计算,需要把上面的计算过程向量化矩阵化。
1)a的计算
其他层的计算类似,输入x变为输入上一层的输出a
2)
其他情况类似推广。
3)
其他情况类似推广。
可以计算梯度后就可以更新参数了。