基础卷积神经网络的计算流程（VGG16、AlexNet、resnet）

吴恩达卷积神经网络课程讲解部分截图
padding:防止图缩小，防止丢失更多信息
输出：{(n+2p-f)/s} +1 ；s步长，f过滤器个数



1960个向量扁平化为一个向量输入到逻辑回归或者softmax中







当使用梯度下降算法或者更高级的优化算法来训练普通网络时，如果增加网络层数，训练误差会在下降一段时间以后，又继续升回去。理论上，神经网络更深，它在训练数据上的性能只会更好，但在实践中一不带残差的普通网络，优化算法训练起来会更加困难。残差网络可以让深层网络的训练误差保持下降。