26/76-NiN NiN块使用卷积层加两个1×1卷积层，后者对每个像素增加了非线性性。NiN使用全局平均池化层来代替VGG和AlexNet中的全连接层。不容易过拟合，更少的参数个数。全连接层计算量大，输入×输出效果十分不好import osnn.Conv2d(out_channels, out_channels, kernel_size=1),nn.ReLU())#默认步幅为1，填充为0return blk。
24/76AlexNet AlexNet赢下了2012ImageNet竞赛后，标志着新的一轮神经网络热潮的开始。AlexNet是更大更深的LeNet，10×参数个数，260×计算复杂度。新增了丢弃法，ReLu，最大池化层和数据增强。特征描述子：SIFT，SURF。如果假设满足了，效果很好。
22/76-池化 池化（最大池化层：选每个kernel中最大的数）平均池化层（将最大池化层中的最大数替换为平均数）在每个输入通道应用池化层以获得相应的输出通道。池化层与卷积层类似，都具有填充和步幅。同样有窗口大小，填充，步幅作为超参数。主要作用时缓解卷积层位置敏感性。池化层返回窗口中最大或平均值。输出通道数=输入通道数。
20/76-卷积，填充，步幅，多通道输入输出 每个输入通道有独立的二维卷积核，所有通道结果相加得到一个输出通道结果。1、卷积层将输入矩阵和核矩阵进行交叉相关，加上偏移所得到输出。填充在输入周围添加额外的行或列，来控制输出形状的减少量。步幅是每次滑动核窗口时的行或列，成倍减少形状。2、核矩阵和偏移是可学习的参数。填充：在输入周围添加额外的行或列。每个输出通道有独立的三维卷积核。填充和步幅都是卷积层的超参数。3、核矩阵的大小是超参数。输出通道是卷积层的超参数。通常填充的是核的长-1。
关注
