qq_48081509的博客

https://blog.csdn.net/qq_25737169/article/details/79048516

1. LeNet 和 AlexNet 网络架构2.相比于LeNet，AlexNet 改进在全连接层后面增加了Dropout 用来防止模型过拟合将激活函数由Sigmoid 改为 Relu,以降低梯度消失的概率下采样层由AvgPooling改为MaxPooling3. 模型层设计# 构建模型net = nn.Sequential( # 这里，我们使用一个11*11的更大窗口来捕捉对象。 # 同时，步幅为4，以减少输出的高度和宽度。 # 另外，输出通道的数目远大于LeN

LeNet1. 网络架构图2. 网络实现net = nn.Sequential( nn.Conv2d(1,6,kernel_size=5,padding=2), # (1,6,28,28) nn.Sigmoid(), # （1,6,28,28） nn.AvgPool2d(kernel_size=2,stride=2),# （1,6,14,14） 【（28-2+2）/2 = 14】 nn.Conv2d(6,16,kernel_size=5),# (6,16,10,

1. 系统默认初始化当我们没有进行初始化权重操作时，发现系统已经有了默认值，如下所示查看官网文档可以发现，这些初始化的值服从均匀分布 U(-k\sqrt{k}k​,k\sqrt{k}k​)，其中k = 1/输入层2. 自定义初始化weight首先编写初始化函数init_weight(),在该函数中，nn.init.normal()可以将权重初始化为正态分布，此处也可以初始化为其他值。# 初始化weightdef init_weights(m): if type(m) == nn.Li

1. 标量导数