本文主要讲解卷积神经网络(CNN)反向传播过程的matlab代码实现。
01
简介
CNN主要由三种层堆叠而成,即卷积层、池化层和全连接层,在《 卷积神经网络(三 ):反向 传播过程》中又推导了这三种层的误差反向传播公式。因此,CNN反向传播的代码主要由这三种层的反向传播代码构成。02
代码实现
在CNN反向传播时,输出层的误差(目标函数)会依次从后往前经过全连接层、池化层和卷积层。在编写全连接层、池化层和卷积层的代码时,均是先求出误差关于各层输入的导数,然后再计算参数的导数。 假设本文研究的是分类问题,输出层采用softmax函数,目标函数定义为交叉熵损失+参数正则化。 (一)定义并计算目标函数梯度下降要优化的目标函数,主要分为两部分:一部分是由于分类器输出结果和真实结果的差异引起的误差,另一部分是对权重w的正则约束。
logp = log(probs);index = sub2ind(size(logp),mb_labels',1:size(probs,2));ceCost = -sum(logp(index));wCost = lambda/2 * (sum(Wd(:).^2)+sum(Wc(:).^2));cost = ceCost/numImages + wCost;
(二)softmax层
交叉熵损失函数关于softmax层输入的导数为:output = zeros(size(probs));output(index) = 1;DeltaSoftmax = probs - output;
注:笔者做过利用Levenberg–Marquardt算法优化网络结构,此时即需要平方差损失函数。
(三)全连接层
全连接层的误差反向传播是将 DeltaSoftmax乘以各层的权重以及点乘激活函数的导数。Wd_grad = (1./numImages) .* DeltaSoftmax*activationsPooled'+lambda*Wd;bd_grad = (1./numImages) .* sum(DeltaSoftmax,2);
(四)池化层
在求出误差关于第一个全连接层 的导数后,需要将 该结果还原成最后一个池化层输出的形状。如果采用的是平均池化,则误差在池化区域内的所有元素上均分;如果采用的是最大池化,则误差只由最大元素负责。DeltaPool = reshape(Wd' * DeltaSoftmax,outputDim,outputDim,numFilters,numImages);DeltaUnpool = zeros(convDim,convDim,numFilters,numImages);for imNum = 1:numImages for FilterNum = 1:numFilters unpool = DeltaPool(:,:,FilterNum,imNum); DeltaUnpool(:,:,FilterNum,imNum) = kron(unpool,ones(poolDim))./(poolDim ^ 2); endend
(五)卷积层
卷积层的反向传播较为复杂,但是具体的推导细节已经在《卷积神经网络(三):反向传播过程》中解释清楚。% 在求出误差关于池化层输入的导数后,再点乘激活函数的导数。DeltaConv = DeltaUnpool .* activations .* (1 - activations);% 卷积层偏置的代码bc_grad = zeros(size(bc));for filterNum = 1:numFilters error = DeltaConv(:,:,filterNum,:); bc_grad(filterNum) = (1./numImages) .* sum(error(:));end% 卷积层权重的代码Wc_grad = zeros(filterDim,filterDim,numFilters);% 旋转所有DealtaConv:下面的conv2在函数内部会自动旋转180度,% 所以在这里旋转是为了抵消conv2旋转的影响。for filterNum = 1:numFilters for imNum = 1:numImages error = DeltaConv(:,:,filterNum,imNum); DeltaConv(:,:,filterNum,imNum) = rot90(error,2); endendfor filterNum = 1:numFilters for imNum = 1:numImages Wc_grad(:,:,filterNum) = Wc_grad(:,:,filterNum) + conv2(images(:,:,imNum),DeltaConv(:,:,filterNum,imNum),'valid'); endendWc_grad = (1./numImages) .* Wc_grad + lambda*Wc;