动手学习深度学习（pytorch）-线性回归

# 本节介绍使用pytorch来搭建线性回归模型
# 1、生成数据集
import torch
from IPython import display
from matplotlib import pyplot as plt
import numpy as np
import random
import torch.nn as nn


num_inputs = 2  # 样本的特征数量
num_examples = 1000  # 样本数量
true_w = [2,-3.4]  # 参数w
true_b = 4.2  # 参数b
features = torch.tensor(np.random.normal(0,1,(num_examples,num_inputs)),dtype=torch.float)  # 特征数
labels = true_w[0] * features[:,0] + true_w[1] * features[:,1] + true_b
labels += torch.tensor(np.random.normal(0,0.01,size = labels.size()),dtype=torch.float)

# 读取数据
import torch.utils.data as Data
batch_size = 10
# 将训练数据的特征和标签组合
dataset = Data.TensorDataset(features,labels)
# 随机读取小批量数据
data_iter = Data.DataLoader(dataset,batch_size,shuffle=True)

# 读取并打印第一个小批量数据样本
for X,Y in data_iter:
    print(X,Y)
    break
"""
tensor([[-3.0391e+00,  2.4009e-01],
        [ 5.3108e-01,  1.1738e+00],
        [-6.4292e-01, -2.7932e-01],
        [-2.2719e-03,  6.5884e-01],
        [ 4.5355e-01,  1.3269e+00],
        [ 7.3476e-01, -3.0537e-02],
        [ 3.1508e-01, -1.1509e+00],
        [ 8.6587e-02,  1.3892e+00],
        [-1.2793e+00, -8.5319e-02],
        [-2.8471e-01, -1.0173e+00]]) tensor([-2.6953,  1.2816,  3.8702,  1.9493,  0.5765,  5.7743,  8.7348, -0.3593,
         1.9270,  7.0863])
"""

# 定义模型
"""
pytorch定义了很多神经网络，我们不需要自己去设计，直接调用即可。导入torch.nn模块，该模块定义了大量神经网络的层。
nn的核心数据结构就是Module，它是一个抽象概念，既可以表示神经网络中的某个层，也可以表示一个包含很多层的神经网络。在实际应用中
通常是继承nn.Module，撰写自己的网络/层。
"""
# class LinearNet(nn.Module):
#     def __init__(self,n_feature):
#         super(LinearNet, self).__init__()
#         super.linear = nn.Linear(n_feature,1)
#     # forward定义前向传播
#     def forward(self,X):
#         Y = self.linear(X)
#         return Y
#
# net = LinearNet(num_inputs)
# print(net) # 使用print打印出网络的结构


# 事实上我们还可以通过nn.Sequential来更加方便的搭建网络，Sequential是一个有序的容器，网络层将会按照在传入Sequential
# 的顺序依次被添加到计算图中
# 写法一：
net = nn.Sequential(nn.Linear(num_inputs,1)# 此处还可以传入其他层
)

# 写法二
net = nn.Sequential()
net.add_module('linear',nn.Linear(num_inputs,1))
# net.add_module...

# 写法三：
from collections import OrderedDict
net = nn.Sequential(OrderedDict([
    ('linear',nn.Linear(num_inputs,1))
    # ....
]))
print(net)
"""
Sequential(
  (linear): Linear(in_features=2, out_features=1, bias=True)
)
"""
print(net[0])
"""
Linear(in_features=2, out_features=1, bias=True)
"""

# 可以通过net.parameters()来查看模型所有的可学习参数，此函数将会返回一个生成器
for param in net.parameters():
    print(param)
"""
Parameter containing:
tensor([[-0.1717, -0.1062]], requires_grad=True)
Parameter containing:
tensor([0.0345], requires_grad=True)
"""

# 注意：torch.nn仅支持输入一个batch的样本不支持单个样本输入，如果只有单个样本，可使用input.unsqueeze()来添加一维


# 初始化模型参数
"""
pytorch在init模块中提供了多种参数初始化方法，我们通过init_normal_将权重参数每个元素初始化为随机采样于均值为0，
标准差为0.01的正太分布，偏差会初始化为0
"""

from torch.nn import init
init.normal_(net[0].weight,mean = 0,std = 0.01)
init.constant_(net[0].bias,val = 0)  # 也可以直接修改表示的data：net[0].bias.data.fill_(0)

# 定义损失函数--直接调用，无需自己定义
loss = nn.MSELoss()

# 定义优化算法
"""
我们无需自己实现小批量随机梯度下降算法。torch.optim模块提供了很多常用的优化算法，例如：SGD，Adam和RMSPro等
下面我们创建一个用于优化net所有参数的优化器实例，并指定学习率为0.03的小批量随机梯度下降（SGD）为优化算法
"""
import torch.optim as optim
optimizer = optim.SGD(net.parameters(),lr = 0.03)
print(optimizer)
"""
SGD (
Parameter Group 0
    dampening: 0
    lr: 0.03
    momentum: 0
    nesterov: False
    weight_decay: 0
)
"""

# 还可以为不同的子网络设置不同的学习率，这在finetune时经常用到
# optimizer = optim.SGD([
#     # 如果对某个参数不指定学习率，就使用最外层的默认学习率
#     {'params':net.subnet1.parameters()},# lr = 0.03
#     {'params':net.subnet2.parameters(),'lr':0.01}
# ],lr = 0.03)


# 有时候不想让学习率固定为一个参数，有两种做法：
"""
1、修改optimizer.param_groups中对应的学习率
2、另外一种更加简单和高效的做法是：新建优化器
"""
# 调整学习率
for param_group in optimizer.param_groups:
    param_group['lr'] *= 0.1  # 学习率为之前的0.1倍


# 训练模型
# 在使用Gluon训练模型时，我们通过调用optim实例的step函数来迭代模型参数。按照小批量随机梯度下降的定义，我们在step函数中指明批量
# 大小，从而对批量中样本梯度求平均
num_epochs = 3
for epoch in range(1,num_epochs + 1):
    for X,Y in data_iter:
        out_put = net(X)
        l = loss(out_put,Y.view(-1,1))
        optimizer.zero_grad()  # 梯度清零
        optimizer.step()
    print('epoch %d,loss:%f' % (epoch,l.item()))
"""
epoch 1,loss:28.709951
epoch 2,loss:26.306438
epoch 3,loss:39.618736
"""

# 比较学习得到的参数和真实的参数模型
dense = net[0]
print(true_w,dense.weight)
print(true_b,dense.bias)
"""
[2, -3.4] Parameter containing:
tensor([[-0.0102, -0.0031]], requires_grad=True)
4.2 Parameter containing:
tensor([0.], requires_grad=True)
"""

# 注：这里我的网路有问题，所以得到的参数不准