深度学习基础week-four

MobileNet V1 & V2

 

 残差结构和倒残差结构，框架是一致的，只是升降维和使用的卷积不太相同，而且倒残差结构这用的是Relu6激活函数

Relu激活函数对低维的特征信息会造成较大损失

MobileNet V3

ShuffleNet

SENet

 用加入了SE的网络训练cifar10

代码作业

HybridSN网络部分

 

 训练结果

测试结果

思考题

训练HybridSN，然后多测试几次，会发现每次分类的结果都不一样，请思考为什么？

权重初始化是随机的，同时HybridSN使用了dropout随机失活，都有一定的随机性，所以分类结果都不一样

如果想要进一步提升高光谱图像的分类性能，可以如何改进？

增加数据集大小，使用数据增强操作来增加数据多样性。

尝试不同的优化器来优化网络参数

运用迁移学习，利用已经成熟的高光谱分类网络所得到的权重，再进行训练调整

depth-wise conv 和 分组卷积有什么区别与联系？

区别：

DW卷积是在每个通道上进行卷积后，再分成一块一块进行组合，比如说每一组的第一份放一起，第二份放一起等等，融合不同group的信息。而分组卷积对于同一组内是没有交流的。

联系：

两种卷积都可以减少参数量和计算量从而提高计算效率，并且损失很低

SENet 的注意力是不是可以加在空间位置上？

可以

在 ShuffleNet 中，通道的 shuffle 如何用代码实现