【改善神经网络】Lesson 3–超参数调试、batch正则化与程序框架
图像的上采样（upsampling）与下采样（subsampled）
显存占用 = 模型显存占用 + batch_size × 每个样本的显存占用
这里模型显存占用：W,dW,动量等的占用（BP过程产生的参量值）;
每个样本的显存占用：正向的z,a占用（FP过程产生的中间值）
从AlexNet理解卷积神经网络的一般结构
首先总体概述下：
-
AlexNet为8层结构，其中前5层为卷积层，后面3层为全连接层；
-
前两层是：卷积层+ReLU+LRN层+池化层，第3-5层：卷积层+ReLU，第5层后跟着池化层，第6-7层：全连接层+ReLU+Dropout，第8层：全连接层+softmax；
-
RPN层第1,2个卷积层后；
-
Max pooling层在RPN层以及第5个卷积层后。
-
ReLU在每个卷积层以及全连接层后，除了第8层。
2967
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
