头歌工程实训答案-机器学习篇之优化器

第1关：SGD

import torch

import torch.nn as nn

# 声明一个线性模型

model = nn.Linear(10, 1)

# 补全代码，声明一个SGD优化器optimizer，其中，模型model中的linear层学习率为默认值1e-6

optimizer = torch.optim.SGD(model.parameters(), lr=1e-6)

# 输出优化器param_groups的长度

print("The len of param_groups list:", len(optimizer.param_groups))

# 输出linear层的学习率

print("linear's lr:", optimizer.param_groups[0]['lr'])

第2关：Momentum

import torch

import torch.nn as nn

# 声明一个线性模型

model = nn.Linear(10, 1)

# 补全代码，声明一个SGD优化器optimizer，其中，模型model中的linear层学习率为默认值1e-6，增加动量值0.9

optimizer = torch.optim.SGD(model.parameters(), lr=1e-6, momentum=0.9)

# 输出优化器的具体内容

print(optimizer)

第3关：RMSprop

import torch

import torch.nn as nn

# 声明一个线性模型

model = nn.Linear(10, 1)

x_train = torch.randn(100, 10)

y_train = torch.randn(100, 1)

# 补全代码，声明一个RMSprop优化器optimizer，设置lr为1e-05，alpha为0.9，eps为1e-08，momentum为0.9

optimizer = torch.optim.RMSprop(model.parameters(), lr=1e-05, alpha=0.9, eps=1e-08, momentum=0.9)

# 输出优化器的具体内容

print(optimizer)

第4关：Adagrad

import torch

import torch.nn as nn

# 声明一个线性模型

model = nn.Linear(10, 1)

# 补全代码，声明一个Adagrad优化器optimizer，设置模型model中的linear层学习率为默认值1e-6，学习率衰减0，权重衰减0，moment累加器的初始值1，eps为1e-9

optimizer = torch.optim.Adagrad(model.parameters(), lr=1e-6, lr_decay=0, weight_decay=0, initial_accumulator_value=1, eps=1e-9)

# 输出优化器的具体内容

print(optimizer)

第5关：Adadelta

import torch

import torch.nn as nn

# 声明一个线性模型

model = nn.Linear(10, 1)

# 补全代码，声明一个Adadelta优化器optimizer，设置模型model中的linear层缩放的系数为1e-04，计算平方梯度的运行平均值的系数0.8，分母里的项为1e-04，权重衰减为0

optimizer = torch.optim.Adadelta(model.parameters(), lr=1e-04, rho=0.8, eps=1e-04, weight_decay=0)

# 输出优化器的具体内容

print(optimizer)

第6关：Adam

import torch

import torch.nn as nn

# 声明一个线性模型

model = nn.Linear(10, 1)

# 补全代码，声明一个Adam优化器optimizer，传入model的属性值，设置lr为0.2，betas为(0.9,0.9)

optimizer = torch.optim.Adam(model.parameters(), lr=0.2, betas=(0.9, 0.9))

# 输出优化器的具体内容

print(optimizer)