机器学习笔记——多层线性（回归）模型 Multilevel (Linear Regression) Model

系列文章目录

机器学习笔记——梯度下降、反向传播
机器学习笔记——用pytorch实现线性回归
机器学习笔记——pytorch实现逻辑斯蒂回归Logistic regression
机器学习笔记——多层线性（回归）模型 Multilevel (Linear Regression) Model
深度学习笔记——pytorch构造数据集 Dataset and Dataloader
深度学习笔记——pytorch解决多分类问题 Multi-Class Classification
深度学习笔记——pytorch实现卷积神经网络CNN
深度学习笔记——卷积神经网络CNN进阶
深度学习笔记——循环神经网络 RNN
深度学习笔记——pytorch实现GRU

---

---

前言

参考视频——B站刘二大人pytorch深度学习实践

---

一、多层线性模型

1.输入空间

在数据集中，我们将输入矩阵中的行叫做sample，即样本。

我们将输入矩阵的列叫做feature，特征或字段

2.多维模型

和一维的模型相比较，多维的样本，每一个维度的数值都要和权重相乘。可以将每一个样本输入看作一个列向量$\left(\begin{array}{c}x1\\ x2\\ ...\\ xn\end{array}\right)$，权重w也是一个行向量(w1,w2…wn)，二者转置相乘，得到一个标量，再加上偏置b。

Mini-Batch size时，即有多个样本输入时，可以看作矩阵运算。

3.多层模型

设置线性模型的输入输出维度。单层的神经网络，输入8维的矩阵，输出1维的矩阵

在多层的神经网络中，我们的目标是将多维的输入空间经过非线性的空间变换得到1维的输出空间。我们可以将输入的8维矩阵映射到6维空间中，通过引入激活函数$\sigma$，给线性变换增加非线性的因子。 这样就使我们可以去拟合相应的非线性变换。

在神经网络中，我们可以通过一层神经网络将一个8维的空间降为6维的空间，再通过一层神经网络将为2维的空间…直至我们需要的输出空间的维度
也可以先上升再降低，比如8维→24维→12维→6维…
一般来说中间的层数越多，代表模型的学习能力越强，但并不一定代表模型越好，因为模型也会学到很多噪声，造成过拟合。模型应当要具有一定的泛化能力。
维度可以随意的改变，但如何选择合适的维度变换，需要通过超参数搜索。

模型结构图，8维的输入通过第一层线性模型映射成为6维，通过sigmoid激活函数将每个维度的值映射到0—1区间上，尔后又通过第二层的线性模型将6维空间映射到4维空间上，继续通过sigmoid激活函数将每个维度的值映射到0—1区间上，最后通过第三层线性模型将4维空间映射成1维，通过sigmoid激活函数映射到0—1区间上，最后输出我们的预测值。

4.损失函数和优化器

5.激活函数

除了sigmoid激活函数，还有如下等多种激活函数

二、实现代码

1.数据集简介

数据集使用的是糖尿病数据集
是一个8维的数据，第九列是y
y=0代表患糖尿病风险减少，y=1代表患糖尿病风险增加

2.代码

#!/user/bin/env python3
# -*- coding: utf-8 -*-
"""
    多层线性回归模型，逻辑斯蒂回归
    数据集使用的是糖尿病数据集
    是一个8维的数据，第九列是y
    y=0 代表患糖尿病风险减少，y=1 代表患糖尿病风险增加
"""
import numpy as np
import torch
import torch.nn.functional as F
import matplotlib.pyplot as plt

# 数据集
# 训练集
xy = np.loadtxt(r'dataset/diabetes.csv.gz', delimiter=',', dtype=np.float32)  # 读取数据，用逗号分隔，类型是float32
x_data = torch.from_numpy(xy[:, :-1])  # 输入数据，所有行，第一列到倒数第二列  从numpy里面创建tensor
y_data = torch.from_numpy(xy[:, [-1]])  # 结果，所有行，最后一列   从numpy里面创建tensor

# 测试集


# 绘图数据
epoch_list = []
loss_list = []


# 模型
class MultilevelLinearModel(torch.nn.Module):
    def __init__(self):
        super(MultilevelLinearModel, self).__init__()
        # 三层线性模型
        self.Linear1 = torch.nn.Linear(8, 6)  # 8维降至6维
        self.Linear2 = torch.nn.Linear(6, 4)  # 6维降至4维
        self.Linear3 = torch.nn.Linear(4, 1)  # 4维降至1维
        # 激活函数
        self.activate = torch.nn.ReLU()  # ReLU作为激活函数

    def forward(self, x):
        x = self.activate(self.Linear1(x))
        x = self.activate(self.Linear2(x))
        x = F.sigmoid(self.Linear3(x))
        return x


if __name__ == '__main__':
    # 模型
    model = MultilevelLinearModel()
    # 损失函数
    criterion = torch.nn.BCELoss()  # 交叉熵损失
    # 优化器
    optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
    # 训练
    for epoch in range(100):
        # forward
        y_pred = model(x_data)
        loss = criterion(y_pred, y_data)
        print('epoch:', epoch, 'loss=', loss.item())

        # backward
        optimizer.zero_grad()  # 梯度清零
        loss.backward()  # 反向传播
        # update
        optimizer.step()
        # 绘图数据
        epoch_list.append(epoch)
        loss_list.append(loss.item())

    # 绘图
    plt.plot(epoch_list, loss_list)
    plt.xlabel('epoch')
    plt.ylabel('loss')
    plt.show()

3.结果

上图是使用ReLU作为激活函数的结果
下面有一份只使用sigmiod作为激活函数的结果图

似乎只使用sigmoid函数作为激活函数的收敛速度更快。