lenet-5 各层分析

1.首先确定一下,CNN 和 DNN 最大的区别只有局部连接和权值共享。其他任何的变化都可以归为这两点。

2.声明几个符号

IH input高 

IW input宽

OH output 高

OW ouput 宽

IC input channel

OC output channel

F 卷积核高和宽

P input padding

S 滑动步长

3 网络结构

Input -> conv1->S2->conv3->S4->C5->F6->F7->output

4. 各层参数分析

Input 32x32x1

conv1 卷积层

Input 32x32

卷积核大小 5x5

卷积核种类 6

卷积核参数量 1x5x5x6

output featuremap 尺寸 28 = 32-5+1

output featuremap size = 神经元数量 28x28x6

可训练参数 (5x5x1+1)* 6   每个滤波器5x5x1个参数+1个bias 参数, 一共6个滤波器

连接数 (5x5x1+1)*6*28*28 = (kernel_size+1) * (output featuremap size) = 可训练参数* OH * OW 

S2 池化层

input 28x28x6

采样区域 2x2

采样方式 4个输入相加,乘以一个可训练参数,加上一个bias, 结果通过sigmod。每层可训练参数不同。等价于特殊的depthwise conv。

output featuremap size 14x14x6

连接数 (2x2+1)*14*14*6 

conv3 卷积层

Input 14x14x6

卷积核大小 5x5

卷积核种类 16

output featuremap 尺寸 10 = 14-5+1

output featuremap size = 神经元数量 10x10x16

可训练参数

6 *(5x5x3+1)+6*(5*5*4+1)+3*(4*5*5+1)+1*(6*5*5+1) = 1516

连接数 = 10*10*1516 = 151600

 

S4 池化层

input 10x10x16

采样区域 2x2

采样方式 4个输入相加,乘以一个可训练参数,加上一个bias, 结果通过sigmod。每层可训练参数不同。等价于特殊的depthwise conv。

output featuremap size 5x5x16

连接数 (2x2+1)*5*5*16 

conv5 卷积层

请注意,该层与全连接层并不相同

Input 5x5x16

卷积核大小 5x5

卷积核种类 120

卷积核参数量 16x5x5x120

output featuremap 尺寸 1 = 5-5+1

output featuremap size = 神经元数量 1x1x120

可训练参数 (5x5x1+1)* 120   每个滤波器5x5x1个参数+1个bias 参数, 一共6个滤波器

连接数 (5x5x1+1)*120*1*1 = (kernel_size+1) * (output featuremap size) = 可训练参数* OH * OW

Fc6 全连接层

input 120

 output featuremap = 神经元数量 = 84

可训练参数 (120 +1)* 84 也可以理解为 (1x1x120+1)* 84 的卷积 卷积核为1x1

计算输入与权重向量之间的点积,再加上一个偏置,结果通过sigmoid函数输出。

其中84 = 7*12, 用这84个像素可以表示ASCII 中的一个符号。

Fc7

input 84

output 10

激活函数 softmax

该层有84x10个链接

 

 

 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值