Pytorch 学习笔记（一）——关系拟合

1、建立数据集

import torch
import matplotlib.pyplot as plt
import torch.nn.functional as F

x = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)  # x data (tensor), shape=(100, 1)
y = x.pow(2) + 0.2*torch.rand(x.size())                 # noisy y data (tensor), shape=(100, 1)

# 画图
plt.scatter(x.data.numpy(), y.data.numpy())
plt.show()

随机生成一组数据，y=x^2+b，b为随机噪声，并生成画出散点图。

Net(
  (hidden): Linear(in_features=1, out_features=10, bias=True)
  (predict): Linear(in_features=10, out_features=1, bias=True)
)

2、建立神经网络

class Net(torch.nn.Module):  # 继承 torch 的 Module
    def __init__(self, n_feature, n_hidden, n_output):
        super(Net, self).__init__()     # 继承 __init__ 功能
        # 定义每层用什么样的形式
        self.hidden = torch.nn.Linear(n_feature, n_hidden)   # 隐藏层线性输出
        self.predict = torch.nn.Linear(n_hidden, n_output)   # 输出层线性输出

    def forward(self, x):   # 这同时也是 Module 中的 forward 功能
        # 正向传播输入值, 神经网络分析出输出值
        x = F.relu(self.hidden(x))      # 激励函数(隐藏层的线性值)
        x = self.predict(x)             # 输出值
        return x

net = Net(n_feature=1, n_hidden=10, n_output=1)

print(net)  # net 的结构
"""
Net (
  (hidden): Linear (1 -> 10)
  (predict): Linear (10 -> 1)
)
"""

定义了隐藏层和输出层都继承了nn.Module 中的nn.Linear线性层。

nn.Linear(in_features, out_features, bias=True)

对输入数据进行线性变换: y=Ax+b
Parameters:
- in_features – 每个输入样本的大小
- out_features – 每个输出样本的大小
- bias – 若设置为 False, 这层不会学习偏置. 默认值: True

同时定义了前向传播，输入通过隐藏层后，再经过激励函数，得到输出值。

3、训练网络

# optimizer 是训练的工具
optimizer = torch.optim.SGD(net.parameters(), lr=0.2)  # 传入 net 的所有参数, 学习率
loss_func = torch.nn.MSELoss()      # 预测值和真实值的误差计算公式 (均方差)

fig = plt.figure()
plt.ion()
for t in range(200):
    prediction = net(x)     # 喂给 net 训练数据 x, 输出预测值

    loss = loss_func(prediction, y)     # 计算两者的误差

    optimizer.zero_grad()   # 清空上一步的残余更新参数值
    loss.backward()         # 误差反向传播, 计算参数更新值
    optimizer.step()        # 将参数更新值施加到 net 的 parameters 上
    if t % 5 == 0:
        # plot and show learning process
        plt.cla()
        plt.scatter(x.data.numpy(), y.data.numpy())
        plt.plot(x.data.numpy(), prediction.data.numpy(), 'r-', lw=5)
        plt.text(0.5, 0, 'Loss=%.4f' % loss.data.numpy(), fontdict={'size': 20, 'color':  'red'})
        plt.pause(0.1)


plt.ioff()   # 画图
plt.show()

采用了nn.MSELoss，输入 x 和 目标 y 之间的均方差 loss = 1/n∑(xi - yi)^2

torch.nn.MSELoss(size_average=True, reduce=True)

x 和 y 可以是任意维度的数组， 但需要有相同数量的n个元素。
求和操作会对n个元素求和，最后除以 n。
在构造函数的参数中传入 size_average=False ， 最后求出来的绝对值将不会除以 n。
要得到每个 batch 中每个元素的 loss, 设置 reduce 为False。返回的 loss 将不会 取平均值， 也不会被size_average 影响。

2018.08.25 整理于莫烦Python教程
https://morvanzhou.github.io/tutorials/machine-learning/torch/3-01-regression/