leoliu2n的博客

原创 size（）

size = x.size()[1:] # all dimensions except the batch dimension

原创 feature map

feature map：在每个卷积层，数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起，其中每一个称为一个feature map。在输入层，如果是灰度图片，那就只有一个feature map；如果是彩色图片，一般就是3个feature map（红绿蓝）。层与层之间会有若干个卷积核（kernel），上一层和每个feature map跟每个卷积核做卷积，都会产生下一层的一个feature map。feature map（下图红线标出） 即：该层卷积核的个数，有多少个卷积核，经过卷积就会

原创 Knowledge evolution

1.dropout与spiltnet区别：例如，如果一个玩具网络层有10个神经元，dropout会为所有10个神经元提供一个独立的表示。相比之下，SplitNets只对拟合假设拟合假设内的神经元进行了独立表征。因此，分裂掩模M提供了更精细的控制级别。2.扩展dropout的trick：因为深层网络输入图片的某些通道不会被激活，即会丢失部分特征信息。Weighted Channel Dropout (WCD）：three extra modules to a deep network:1.

原创 训练过程：用小批量随机梯度下降训练神经网络