【pytorch】损失函数和优化器

损失函数MSE

均方差损失

用 torch.nn.MSELoss() 表示

import torch
import torch.nn as nn

# 初始化数据集
X = torch.tensor([1, 2, 3, 4], dtype=torch.float32)
Y = torch.tensor([2, 4, 6, 8], dtype=torch.float32)
w = torch.tensor(0.0, dtype=torch.float32, requires_grad=True)#这里只有一个参数w

def forward(x):
    # 正向传播函数，自己定义的模型
    return w * x

测试代码

pre = forward(X)
# 求loss这里使用均方差损失计算预测值和真实值之间的距离
loss = nn.MSELoss()
# 测试此时的损失
loss(forward(X), Y)

优化器

pytorch中提供了torch.optim的方法优化我们的模型。torch.optim 工具包中存在着各种梯度下降的改进算法，比如 SGD、Momentum、RMSProp 和 Adam 等。这些算法都是以传统梯度下降算法为基础，提出的改进算法，这些算法可以更快更准确地求解最佳模型参数。
下面代码用于定义loss和优化器：

# 定义损失
loss = nn.MSELoss()
#定义优化器
learning_rate = 0.01	#学习率
n_iters = 100			#迭代的次数
optimizer = torch.optim.SGD([w], lr=learning_rate)#定义优化器

正向传播优化参数

for epoch in range(n_iters):
    y_predicted = forward(X)
    # 计算损失
    l = loss(Y, y_predicted)
    # 计算梯度
    l.backward()
    # 更新权重，即向梯度方向走一步
    optimizer.step()
    # 清空梯度
    optimizer.zero_grad()

    if epoch % 10 == 0:
        print('epoch ', epoch+1, ': w = ', w, ' loss = ', l)

print(f'根据训练模型预测，当 x =5 时，y 的值为： {forward(5):.3f}')

这里我们进行了 100 次的迭代。

pytorch的模型

上面用的是我们自己定义的模型，其实pytorch本身提供了模型，也就是说，我们不用再手动定义forward函数了。
如线性模型：
torch.nn.Linear(input_size, output_size)表示线性函数模型，参数是输入数据的维度和输出数据的维度。

总结一下，我们可以将一个线性问题的求解分为下面三个步骤：

1. 定义模型（即正向传播函数），利用 nn.Linear 定义模型。
2. 定义损失和优化器，利用 nn.MSELoss 定义损失，利用 torch.optim 定义优化器。
3. 模型的训练（正向传播、反向传播、更新梯度、梯度下降、循环）。

# 由于使用 PyTorch ，因此所有的变量都为张量
X = torch.tensor([[1], [2], [3], [4]], dtype=torch.float32)
Y = torch.tensor([[2], [4], [6], [8]], dtype=torch.float32)
X_test = torch.tensor([5], dtype=torch.float32)
# 1. 定义模型
n_samples, n_features = X.shape
# 这里输入和输出的维度相同
model = nn.Linear(n_features, n_features)

# 2. 定义优化器和损失函数
learning_rate = 0.1
n_iters = 100

loss = nn.MSELoss()
# 在定义优化器时，直接利用 model.parameters() 表示模型中所有需要求的权重
optimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)

# 3. 模型的训练，固定的步骤：正向传播、计算损失、反向传播、更新权重、梯度清空
for epoch in range(n_iters):
    # 正向传播
    y_predicted = model(X)
    # 损失
    l = loss(Y, y_predicted)
    # 反向传播
    l.backward()
    # 更新权重
    optimizer.step()
    # 清空梯度
    optimizer.zero_grad()

    if epoch % 10 == 0:
        [w, b] = model.parameters()  # unpack parameters
        print('epoch ', epoch+1, ': w = ', w[0][0].item(), ' loss = ', l)

print(f'根据训练模型预测，当 x =5 时，y 的值为：', forward(X_test))

其中3具体的步骤如下：

• 利用 model(X) 进行正向传播。
• 利用 loss(Y, y_predicted) 计算模型损失。
• 利用 loss.backward() 计算模型梯度。
• 利用 optimizer.step() 更新权重。
• 利用 optimizer.zero_grad() 清空梯度。
• 重复上面的操作。