到这儿来~(feat.美丽的嫦娥姐姐
嗯经过了一周的实(mo)践(yu)之后,打算还是给ResNet出个续集
毕竟downsample这一块儿实在是挺费解的
其中ResNet出现的downsample,可以大致分为一下两种
1.1真正意义上让output.shape长宽变成1/2的我暂且称之为real downsample
1.2 shortcut前的x的为了适应shortcut后变化的shape而做的自适应调节 我暂且称之为 identity downsample
以下的所有案例,我们以Resnet44也就是[14, 14, 14]的结构举例
我个人偏好称layer1(14个block),layer2(14个block),layer3(14个block)
1.1 real downsample
顾名思义,这个downsample是让全图的H*W变成1/2H * 1/2W。方式是使stride = 2
Figure 3 in ResNet paper
借鉴这个34层的小example 我们可以看到 每个real downsample是在不同layer(个人叫法,同一种颜色的叫一个layer)第一个block完