Pytorch 学习

Batch normalization

提出的原因：sigmoid函数，当输入过大或过小的数据时容易差生梯度弥散的情况，即倒数为0

同时w1 w2对loss的影响不同
概念:权值缩放

一个例子

第一步是使得数据趋于0 ~ 1分布 ， 第二步是根据需要使得数据趋于$\beta \tilde{\gamma }$分布,是需要梯度信息来更新学习的
基本流程

1*1的convolution操作意义 可以改变输出的维度

ResNet 深度残差网络

上图是网络参数量的分析，其中原图像是256维（通道），宽高是224224。
11,64 代表的是卷积核大小为11，卷积核个数为64。输出为[64,224,224] 参数量：11* 256* 64
33，64代表的是卷积核大小为33，卷积核个数为64。输出为[64,224,224]，这里经过了padding 参数量：3364* 64
11,256 代表的是卷积核大小为11，卷积核个数为256。输出为[256,224,224] 为了element相加，所以保持维度和大小的相同。 参数量：11 64256

残差的由来

nn.Moudle类

参数管理