residuel network

网络的架构图如下：

一个block由两个卷积层组成，将输出通道数相同的字block层叠在一起组成middle block，然后将不同output channel的middle block层叠在一起组成整个网络。
block分两种：

1. middle block里的第一个block；
2. middle block里的其他block

1. middle block里的第一个block；

因为不同的middle block具有不同的输出通道数(一般后者是前者的一倍)，所以后一个middle block的第一个block需要对前一个middle block的output做通道加倍.
代码里假如第一个middle block的输出为：32×32，channl=16；想要第二个middle block的输出channel为32，可以按如下方法设置参数
1、第一个卷积层参数为:
kernel=3×3, strder=2，output_channel=32, padding=SAME;
卷积后的结果为: 16×16，output_channel=32.

2、第二个卷积层参数为：
kernel=3×3, strder=1，output_channel=32, padding=SAME;
卷积后的结果为: 16×16，output_channel=32.

接下来就是将第二个卷积结果加上input，然而

• input的shape是：32×32，channl=16
• 第二个卷积结果的shape为：16×16，output_channel=32

所以需要对input做降维变化（叫做shortcut），使用的也是一个卷积层，参数为：
kernel=1×1, strder=2，output_channel=32, padding=SAME; 结果shape为
16×16，output_channel=32。然后两者就可以相加了。

2. middle block里的其他block

第一个block的输出不需要做维度变化，直接输入到第二个block，第二个block的两个卷积层参数分别为
1、第一个卷积层参数为:
kernel=3×3, strder=1，output_channel=32, padding=SAME;
卷积后的结果为: 16×16，output_channel=32.

2、第二个卷积层参数为：
kernel=3×3, strder=1，output_channel=32, padding=SAME;
卷积后的结果为: 16×16，output_channel=32.
input可以直接加上第二个卷积层的结果，得到第二个block的输出16×16，output_channel=32.