7 处理多维特征的输入

最新推荐文章于 2024-08-10 23:14:03 发布

Micoreal

最新推荐文章于 2024-08-10 23:14:03 发布

阅读量250

点赞数

分类专栏： pytorch 文章标签： python 算法

本文链接：https://blog.csdn.net/Micoreal/article/details/128782424

版权

pytorch 专栏收录该内容

14 篇文章 1 订阅

订阅专栏

文章目录

课程来源: 链接
课程文本来源借鉴：链接
以及（强烈推荐）Birandaの

课程前提知识

BCELoss - Binary CrossEntropyLoss

BCELoss 是CrossEntropyLoss的一个特例，只用于二分类问题，而CrossEntropyLoss可以用于二分类，也可以用于多分类。

如果是二分类问题，建议BCELoss

问题引入

有一糖尿病数据集，在文件中，每个样例有8个维度的信息，并以此进行二分类。
在这里插入图片描述

模型改进

上篇中，单维度逻辑回归模型为
$\widehat y^{(i)} = \sigma(x^{(i)} \omega+b)$
其中的 $x^{(i)}$ 表示第i个样本的维度，对于多维度，输入要变为8个维度的输入因此，模型应当变为
$\widehat y^{(i)} = \sigma(\sum _{n=1}^8 x^{(i)}_n \omega _n+b)$
其中的 $x^{(i)}_n$ 表示第i个样本的第n个维度。由于在实际代码运算中是以矩阵进行计算的，因此其中
$\sum _{n=1}^8 x^{(i)}_n \omega _n = \begin{bmatrix} {x_1^{(i)}}&{\cdots}&{x_8^{(i)}} \end{bmatrix} \begin{bmatrix} {w_1}\\ {\vdots}\\ {w_8} \end{bmatrix}$
则原式可以表示成
$\widehat y^{(i)} = \sigma( \begin{bmatrix} {x_1^{(i)}}&{\cdots}&{x_8^{(i)}} \end{bmatrix} \begin{bmatrix} {w_1}\\ {\vdots}\\ {w_8} \end{bmatrix}+b)\\ =\sigma(z^{(i)})$

修改

在这里插入图片描述

神经层的增加

矩阵实质上是用于空间的函数
在这里插入图片描述
由此，也可以将输出的部分转换为其他维度，来实现分布的维度下降，比如8维转6维，6维转4维，4维转1维，由此可以增加网络层数，增加网络复杂度。同理，对网络结构先增后减也是可以的。

在这里插入图片描述

学习能力与超参数

层与层的叠加，就是多层神经网络。每层之间的矩阵大小选择，也是超参数的搜索问题

层数太多，学习能力太强，会把噪声的规律也学进来，而抓不住学习的重点。所以层数，每层的维度，是一个超参数搜索问题。

课本代码

import torch
import numpy as np
#读取文件，一般GPU只支持32位浮点数
xy = np.loadtxt('diabetes.csv', delimiter=',', dtype = np.float32)
#-1行-1列不取
x_data = torch.from_numpy(xy[:-1, :-1])
#单取-1列作为矩阵
y_data = torch.from_numpy(xy[:-1, [-1]])
#取-1行的测试集部分
test_data = torch.from_numpy(xy[[-1], :-1])
pred_test = torch.from_numpy(xy[[-1],[-1]])
class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = torch.nn.Linear(8, 6)
        self.linear2 = torch.nn.Linear(6, 4)
        self.linear3 = torch.nn.Linear(4, 1)
        self.sigmoid = torch.nn.Sigmoid()

    def forward(self, x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x

model = Model()

criterion = torch.nn.BCELoss(size_average=True)

optimizer = torch.optim.SGD(model.parameters(), lr=0.1)

for epoch in range(1000):
    #Forward 并非mini-batch的设计，只是mini-batch的风格
    y_pred = model(x_data)
    loss = criterion(y_pred,y_data)
    print(epoch, loss.item())

    #Backward
    optimizer.zero_grad()
    loss.backward()

    #Update
    optimizer.step()

print("test_pred = ", model(test_data).item())
print("infact_pred = ", pred_test.item())