d2l&linear regression&pytorch

Linear regression

线性回归是最简单的神经网络结构，也是单层神经网络(输入层不算)，通过简单的更新W,和偏移项b完成训练整个线性回归模型。

简单介绍实现步骤

1. 准备数据集DataLoader对象
   Pytorch框架训练模型，传入对象需要是DataLoader，传入的参数较为重要是batch_size(batch_size越大占用内存越大，内存越容易爆)
2. 模型
   模型一般通过nn.Sequential能更容易实现，不过继承nn.Module是更普遍写的一种方法，因为其可拓展性强，非常方便，nn.Sequential可以直接加入继承nn.Module类中。

class DIYNet(nn.Module):
    def __init__(self, in_channels, out_channels):
        super().__init__()
        
    def forward(self, x):

3. 损失函数
   损失函数是网络优化的一个对象，常用的有：MSE，RMSE，Cross Entropy，另外自定义损失函数也可以自定义。
   同时，参数的更新主要基于损失函数的梯度。
4. 优化器
   优化器为损失函数工作，一般是更快的下降梯度和优化。常用的有Adam,SGD,RMSprop
5. 迭代梯度更新
   这一步就是最重要的更新梯度了，一般梯度更新是先正向传播(计算梯度，保留梯度值)，反向传播是基于正向传播的梯度进行参数更新。

输入数据

• 准备工作

# 安装d2l包
pip install d2l

import torch
from torch.utils import data
from d2l import torch as d2l
from torch import nn

def load_array(data_arrays, batch_size, is_train=True):  #@save
    """构造一个PyTorch数据迭代器。"""
    dataset = data.TensorDataset(*data_arrays)  # *表示传入不止一个参数 比如元组
    return data.DataLoader(dataset, batch_size, shuffle=is_train)

true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b, 1000)
batch_size = 10
data_iter = load_array((features, labels), batch_size)

自定义模型

使用pytorch框架简易实现一个线性回归模型：

# 自定义模型
net = nn.Sequential(nn.Linear(2, 1))

# 模型初始化
net[0].weight.data.normal_(0, 0.01)
net[0].bias.data.fill_(0)

定义损失函数

# 定义损失函数
loss = nn.MSELoss()

定义优化算法

# 定义优化算法
trainer = torch.optim.SGD(net.parameters(), lr=0.03)

训练模型

# 训练
num_epochs = 5
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X), y)
        # 梯度清零
        trainer.zero_grad()
        # 反向传播
        l.backward()
        # 参数更新
        trainer.step()
    Loss = loss(net(features), labels)
    print('epoch:{},loss:{:.6f}'.format(epoch+1, Loss))