好好学习,天天向上!
活动地址:CSDN21天学习挑战赛
一、经典卷积神经网络创新点
参考博客:典型卷积神经网络算法(AlexNet、VGG、GoogLeNet、ResNet)_流萤数点的博客-CSDN博客
1.AlexNet
激活函数调整会有什么变化? ——ReLU
并行处理是否更好? ——并行GPU
卷积只能同一组吗? ——分组卷积
如何防止过拟合? ——数据增强和Dropout
2.VGG
卷积核一定越大越好? ——3✖3卷积核
训练方法还有哪些? ——Multi-Scale
3.GoogLeNet
每层卷积只能用同一种尺寸的卷积核? ——Inception结构
网络结构如何降低参数量? ——1✖1卷积核
4.ResNet
如何解决梯度消失问题? ——残差网络
5.DenseNet
前面层与后面层的密集连接会怎样? ——特征重用
6.MobileNet
如何构建移动性强、功耗低的小模型? ——深度级可分离卷积
7.ShuffleNet
分组卷积能否对通道进行随机分组? ——逐点群卷积和通道混洗
8.EfficientNet
如何更好的提高训练效果? ——网络放缩
9.其他
卷积操作时必须同时考虑通道和区域吗? ——Xception
通道间的特征都是平等的吗? ——SEnet
能否让固定大小的卷积核看到更大范围的区域? ——Dilated convolution
卷积核形状一定是矩形吗? ——Deformable convolution可变形卷积
二、思考
1.卷积核
大+小?小+大?小——>大?大——>小?
尺寸不同?
不同形状?
2.通道
普通CNN+通道混洗?
其他通道特征提取方法?
随机性?
分组卷积+不同通道?
通道加权计算?
3.连接
密集连接与稀疏连接?
跨层连接?
随机连接?
搞科研好难哦!创新更难!