AlexNet网络:
五个卷积层+三个全连接层
60M个参数,650个神经元
2个分组---->2个GUP
1x1卷积:
实现统一像素点上的各个通道的值的线性组合
作用是实现阔通道的交互和信息整合,进行卷积核通道数的降维和升维
VGG网络:
用于探究在大规模图像是别人物种,卷积网络深度对模型精确度有何影响
一个大卷积核分解成连续多个小卷积核
减少参数,降低计算,增加深度
GoogLeNet网络:
进化顺序:inception V1 ---> inception V2------> inception V3 --------> inception V4
inception V1:核心组件Inception Architecture
增加网络多多尺度的适应性,增加网络宽度
使用1x1卷积进行特征降维:大幅降低计算量
取消全连接:参数量大,减负
辅助分类器:解决前几层的梯度消失问题
inception V2:核心组件Batch Normalization(批归一化)
白化:使每一层的输出都规范到(0,1)
解决Internal covariate shift 问题
允许较高学习率
inception V3:核心组件:
非对称卷积,NxN分解成1xN----->Nx1
降低参数数量和计算量
取代部分dropout
5x5卷积核----->2个3x3卷积核
ResNet残差网络:
核心组件:Skip/shortcut connection
plain net: 可以拟合出任意目标映射H(x)
Residual net:可以拟合出任意目标映射F(x),H(X)=F(X)+X
全是3x3卷积核,卷积步长2取代池化,使用Batch Normalization
取消MAX池化层,全连接层,dropout
ResNeXt网络:
提出第三个维度,除了深和宽
cardinality(基数):
采用Spilt-Transform-Aggregate策略
将卷积核按通道分组,形成32个并行分支
低维度卷积进行特征变换
加法合并
CNN设计准则:
避免信息瓶颈,卷积过程中,HxW逐渐变小,通道数逐渐变大
H x W x C要缓慢变小
感受野要足够大