第八周--ResNeXt

1：文字回答：用自己的语言描述 split-transform-merge是怎样一个过程.

答：split-transform-merge是指通过在大卷积核层两侧加入1x1的网络层，控制核个数，减少参数个数的方式。以下图为例，[ ]内的就是split-transform-merge，通过cardinality（C）的值来控制repeat layer，输出层上下相邻的格子不断减半，[ ]内的逗号后面的卷积核数量翻倍。

2：文字回答：ResNeXt-50_32x4d 中的50， 32和4分别表示什么意思？

答：50是指网络有50层，layers = 50，C = 32是cardinality(基数)，也就是group，width = 4是宽度。

3：文字回答：分组卷积能减少多少参数？（输入通道数、输出通道数均一致的情况下）

答：假设输入的feature map的维度为256，output的维度也是256，那么：
 256维的输入直接经过一个3x3x256的卷积层，输出一个256维的feature map，那么参数量为：256x3x3x256=589824；
 256维的输入直接经过一个1x1x64的卷积层，再经过一个3x3x64的卷积层，最后经过一个1x1x256的卷积层，输出256维，参数为：256x1x1x64+64x3x3x64+64x1x1x256=69632；
 69632/589824 ≈ 0.1，参数量缩减了近9倍；
 1x1卷积核被认为是影响很深远的操作，后面的大型网络大多都是采用1x1卷积的方式来降低参数量。

4：文字回答：读完该论文，对你的启发点有哪些？

答：
用一种平行堆叠相同的拓扑结构的blocks代替原来ResNet的三层卷积的block，在不明显增加参数数量级别的情况下提升了模型的准确率，同时由于拓扑结构相同，超参数也减少了，便于模型移植。
VGG与ResNeXt都有的优秀可鉴学习的两个网络设计准则：
 处理相同尺寸的特征图时，采用同样大小、数量的卷积核
 当特征图分辨率长宽降低2倍时，特征图通道数(卷积核数量)翻倍
视觉任务研究方向从传统的“特征过程”转向“网络过程”。
相同架构的block进行堆叠，可以减少过度适应的风险，侧面反映出Inception系列模型泛化性能可能较差

5：代码实现(选做题)：在cifar-10上训练一个resnext29，将训练曲线，混淆矩阵图等信息贴出来分享

acc：loss：Confusion_Matrixtrain：Confusion_Matrixvalid：