【改善神经网络】Lesson 3–超参数调试、batch正则化与程序框架
图像的上采样(upsampling)与下采样(subsampled)
显存占用 = 模型显存占用 + batch_size × 每个样本的显存占用
这里模型显存占用:W,dW,动量等的占用(BP过程产生的参量值);
每个样本的显存占用:正向的z,a占用(FP过程产生的中间值)
从AlexNet理解卷积神经网络的一般结构
首先总体概述下:
-
AlexNet为8层结构,其中前5层为卷积层,后面3层为全连接层;
-
前两层是:卷积层+ReLU+LRN层+池化层,第3-5层:卷积层+ReLU,第5层后跟着池化层,第6-7层:全连接层+ReLU+Dropout,第8层:全连接层+softmax;
-
RPN层第1,2个卷积层后;
-
Max pooling层在RPN层以及第5个卷积层后。
-
ReLU在每个卷积层以及全连接层后,除了第8层。