LeNet-5 研习 3 (进行C语言实现LeNet的前向传播的解读)

最新推荐文章于 2024-08-07 21:05:59 发布

知识在于分享

最新推荐文章于 2024-08-07 21:05:59 发布

阅读量1.8k

点赞数 2

分类专栏：深度学习

本文链接：https://blog.csdn.net/baidu_40840693/article/details/82958911

版权

深度学习专栏收录该内容

255 篇文章 18 订阅

订阅专栏

参考博客：

https://blog.csdn.net/tostq/article/details/51786265

参考代码:

https://github.com/tostq/DeepLearningC/tree/master/CNN

一总结构介绍

在代码中，一共分为5层

//输入(不算入层数)-1卷积层-2池化层-3卷积层-4池化层-5输出层

二 C1卷积层

//输入 28*28图像灰度图(0-255级) 深度为1(通道为1)
//1卷积层卷积模板模板大小5*5 每一个深度对应一个不同模板故有1个模板
//同一图片，为了提取不同特征，使用不同模板，即多组模板对图像进行卷积处理
//该层 6组卷积提取特征每组一个卷积模板
//每组都有一个偏置项共有参数 6*5*5+6*1=6*(5*5+1)= 156
// (高-卷积核的边长+2*图像边扩充大小)/滑动步长+1

// 卷积后的大小： 无扩展，步长为1 28-5+1=24
// 连接数 24*24*156 = 89856

代码中，C1卷积层结束后

将x的值放入sigmod函数中

接着将得到的0-1的二值图

代码如下：

	// 第一层的传播
	int i,j,r,c;
	// 第一层输出数据
	nSize mapSize={cnn->C1->mapSize,cnn->C1->mapSize};
	nSize inSize={cnn->C1->inputWidth,cnn->C1->inputHeight};
	nSize outSize={cnn->S2->inputWidth,cnn->S2->inputHeight};
	for(i=0;i<(cnn->C1->outChannels);i++){
		for(j=0;j<(cnn->C1->inChannels);j++){
			float** mapout=cov(cnn->C1->mapData[j][i],mapSize,inputData,inSize,valid);
			addmat(cnn->C1->v[i],cnn->C1->v[i],outSize,mapout,outSize);
			for(r=0;r<outSize.r;r++)
				free(mapout[r]);
			free(mapout);
		}
		for(r=0;r<outSize.r;r++)
			for(c=0;c<outSize.c;c++)
				cnn->C1->y[i][r][c]=activation_Sigma(cnn->C1->v[i][r][c],cnn->C1->basicData[i]);
	}

三 S2池化层

#define AvePool 0
#define MaxPool 1
#define MinPool 2

代码中有三种池化方式，我们选择AvePool平均池化

Ho=Wo=(H−F+2×P)/S+1=(高−卷积核的边长+2×图像边扩充大小)/滑动步长+1

=(24−2+2×0)/2+1=12 S2，没有扩充，且滑动步长为2，padding=0，stride=2

输入6个图像，输出6个图像

平均池化相当于，用全是1的卷积核进行卷积，然后求平均

步长为2，表示如下:

void avgPooling(float** output,nSize outputSize,float** input,nSize inputSize,int mapSize) // 求平均值
{
	int outputW=inputSize.c/mapSize;
	int outputH=inputSize.r/mapSize;
	if(outputSize.c!=outputW||outputSize.r!=outputH)
		printf("ERROR: output size is wrong!!");

	int i,j,m,n;
	for(i=0;i<outputH;i++)
		for(j=0;j<outputW;j++)
		{
			float sum=0.0;
			for(m=i*mapSize;m<i*mapSize+mapSize;m++)
				for(n=j*mapSize;n<j*mapSize+mapSize;n++)
					sum=sum+input[m][n];

			output[i][j]=sum/(float)(mapSize*mapSize);
		}
}

求平均后，输出6个图像，大小为12*12

四 C3卷积层

12组卷积模板，每组的深度(通道)为6，每个卷积核的大小为5*5

Ho=Wo=(H−F+2×P)/S+1=(高−卷积核的边长+2×图像边扩充大小)/滑动步长+1

=(12−5+2×0)/1+1=8 没有扩充，且滑动步长为1，padding=0，stride=1

输入为6个12*12像素的图像

卷积核一共6*12个

输出为12个8*8像素的图像

这里没有使用下图中LeNet-5的那种方式：

而是使用了全连接

12组模板，有12个bias偏置，每组有6个卷积核，

每组模板的卷积核图示为：

故整个网络共有卷积核 6*12个，参数12*1+12*6*(5*5) = 2664

这里相当于把输入的6个12*12图像，看作是，深度(通道)为6的一个图像，对这个图像进行卷积

由前面LeNet-5 研习 1 我们讲解的多通道卷积

图示为：

那么就

输出的第一个8*8图像的第一个像素点

x= b

+X1*W11+X2*W12+X3*W13+X4*W14+X5*W15

+X13*W16+X14*W17+X15*W18+X16*W19+X17*W110

+X25*W111+X26*W112+X27*W113+X28*W114+X29*W115

+X37*W116+X38*W117+X39*W118+X40*W119+X41*W120