用pytorch实现吴恩达老师深度学习课程课后编程作业（课程二，第一周）

最新推荐文章于 2022-09-16 17:08:28 发布

justzmq

最新推荐文章于 2022-09-16 17:08:28 发布

阅读量1.2k

点赞数 4

文章标签：深度学习

本文链接：https://blog.csdn.net/weixin_44581161/article/details/106724265

版权

要做的事：
1 参数初始化
2 正则化

参数初始化

#model[0].weight是第0层的w参数，其他层可同样的方法初始化参数，初始化在建好model后使用，怎样建model参考上一篇。
# 0-1之间均匀分布
torch.nn.init.uniform_(model[0].weight, a=0, b=1)
# 初始化为常数0.5
torch.nn.init.constant_(model[0].weight, 0.5)
# 正态分布
torch.nn.init.normal_(model[0].weight)

正则化

正则化是用来减小过拟合的方法，这里给出L2正则化方法和dropout方法

L2正则化

optimizer = torch.optim.Adam(model.parameters(), lr=learn_rate,weight_decay=0.01)
#这里的weight_decay=0.01相当于λ参数。

dropout方法

model=torch.nn.Sequential(
    torch.nn.Linear(in_put,Hidden1,bias=True),
    torch.nn.ReLU(),
    torch.nn.Dropout(0.2),
    torch.nn.Linear(Hidden1,Hidden2,bias=True),
    torch.nn.ReLU(),
    torch.nn.Dropout(0.2),
    torch.nn.Linear(Hidden2,out_put,bias=True),
    torch.nn.Sigmoid(),
)
#在每层后边加上torch.nn.Dropout(0.2)，0.2是随机架空该层20%神经元。