二维卷积神经网络的初始化为0及其他初始化方式对比
今天想结合实验及公式讨论下,二维卷积神经网络下,初始化为0初始化为常数kaiming初始化3种初始化方式的结果。并分析复杂模型不能初始化为0的根本原因。1. 实验背景先介绍下实验模型,用的是Pytorch下两层卷积网络,各接BN层和ReLU层:class Model(nn.Module): def __init__(self): super(Model, self).__init__() self.conv1 = nn.Conv2d(3, 3, 3, padding=1, bi
原创
2020-06-07 20:54:39 ·
1911 阅读 ·
0 评论