全连接层会破坏图像空间结构,而1*1卷积层不会破坏图像空间结构

这个问题也困扰了我很久,下面是个人理解:

首先引一个例子:

假设最后一个卷积层的输出为7×7×512,连接此卷积层的全连接层为1×1×4096。

连接层实际就是卷积核大小为上层特征大小的卷积运算,卷积后的结果为一个节点,就对应全连接层的一个点。如果将这个全连接层转化为卷积层:
1.共有4096组滤波器
2.每组滤波器含有512个卷积核
3.每个卷积核的大小为7×7
4.则输出为1×1×4096

(重要)实际上,对于多通道输入和多通道输出的情况,当卷积核大小为7*7时,最后的输出取决于卷积核的组数,例如输入为7×7×512,卷积核的尺寸为a×7×7×512(a为输出通道数),输出为a×1×1,而卷积核大小为1×1时,与之类似,最后输出的通道数取决于a(即上文的滤波器组数)。

至此,可以看出,1*1的卷积核可以进行降维和升维,并实现跨通道的信息交互(通道数变换)。

(结论)

卷积是将一个区域单独对待,可以提取局部特征,从而不会破坏空间结构,而对于全连接层,将其当作每个像素点一样对待(最后输出是一个一个值),会破坏空间结构。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值