2D CNN

1.        二维卷积模型

1.1.        Basic Convolution

具体到计算中使用cublas的gemm方法。

设输入为nclhw，卷积核为c”cl’h’w’，输出为c”l”h”w”，步长s，补偿p。

输出与输入的关系：L”=(l+2p-l’)/s+1

输入与输出相等时：p=[s(l-1)+l’-l]/2

矩阵相乘：c”*cl’h’w’ 与 nl”h”w”*cl’h’w’ 相乘

1.2.        Resnet¹⁰

残差结构有利于学习Identify map，bottleneck在中间降维有利于减少参数量。

例：256*3*3*256 à 256*1*1*64 + 64*3*3*64 + 64*1*1*256 = 896*64

1.3.        Inception

1.3.1.       V1¹¹

增加了网络宽度࿰