Batch normalization
提出的原因:sigmoid函数,当输入过大或过小的数据时容易差生梯度弥散的情况,即倒数为0
同时w1 w2对loss的影响不同
概念:权值缩放
一个例子
第一步是使得数据趋于0 ~ 1分布 , 第二步是根据需要使得数据趋于
β
γ
˜
\beta \~\gamma
βγ˜分布,是需要梯度信息来更新学习的
基本流程
1*1的convolution操作意义 可以改变输出的维度
ResNet 深度残差网络
上图是网络参数量的分析,其中原图像是256维(通道),宽高是224224。
11,64 代表的是卷积核大小为11,卷积核个数为64。输出为[64,224,224] 参数量:11* 256* 64
33,64代表的是卷积核大小为33,卷积核个数为64。输出为[64,224,224],这里经过了padding 参数量:3364* 64
11,256 代表的是卷积核大小为11,卷积核个数为256。输出为[256,224,224] 为了element相加,所以保持维度和大小的相同。 参数量:11 64256
残差的由来
nn.Moudle类
参数管理