Pytorch搭建神经网络完成监督学习-分类任务

最新推荐文章于 2024-01-25 01:52:49 发布
最新推荐文章于 2024-01-25 01:52:49 发布
阅读量915 收藏 7
点赞数 1
分类专栏： Pytorch深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AnHongjun/article/details/113360464
版权
该博客介绍了如何创建训练集并使用PyTorch训练一个神经网络模型进行四分类任务。首先，通过随机种子设定一致的随机数生成，然后在[-10,10]区间生成1000个点，结合两个非线性函数将点分为四个区域。接着，定义了一个具有隐藏层的神经网络，使用交叉熵损失函数和Adam优化器进行训练。经过1500次迭代后，使用新的测试集验证模型，并计算了准确性。最后，展示了训练结果和预测的准确性。
摘要由CSDN通过智能技术生成

classifica

一、创建训练集

为了保证后续过程中产生的随机数都是一致的（方便测试），我们首先种下一颗随机种子。

import torch
import matplotlib.pyplot as plt
import torch.nn.functional as F
import numpy as np

def setup_seed(seed):
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)

setup_seed(50)

在[-10, 10]区间上随机生成1000个离散点，并将其可视化。

#create trainning set
batch_n = 1000
x = torch.linspace(-10, 10, batch_n).reshape(batch_n, 1)
y = torch.randn(batch_n, 1)

plt.figure()
plt.scatter(x.data.numpy(), y.data.numpy())
plt.show()

trainning set

创造两个非线性函数，这里用y=0.5cos(x)+0.4sin(2x)+0.3sin(3x)和y=0.002*x^3+0.02*x^2吧。将其可视化在图像上。

def Myfunc(x):
    y = 0.5*np.cos(x) + 0.4*np.sin(2*x) + 0.3*np.sin(3*x)
    return y

def Myfunc2(x):
    y = 0.002*np.power(x, 3) + 0.01*np.power(x-3, 2)
    return y

plt.figure()
plt.scatter(x.data.numpy(), y.data.numpy())
plt.plot(x.data.numpy(), Myfunc(x.data.numpy()), 'g-')
plt.plot(x.data.numpy(), Myfunc2(x.data.numpy()), 'g-')
plt.show()

split-line

我想做什么？我想利用这两个非线性函数，将平面分成四个区域。如果一个点同时位于两条直线之上，我们认为他处于区域[0]；同时位于两条直线之下，处于区域[1]；还有一上一下的情形……。

我们将(x, y)合并为训练集trainning set，然后为这些点贴上相应区域的标签。那么平面上这1000个离散点就被分为了四类。

train_set = torch.tensor(torch.cat((x, y), 1), dtype=torch.float32)
label = torch.tensor(torch.zeros(batch_n), dtype=torch.int64)

for i in range(batch_n):
    _y = Myfunc(x[i].data) - y[i].data
    __y = Myfunc2(x[i].data) - y[i].data
    if _y > 0 and __y > 0:
        label[i] = 0
    elif _y > 0 and __y <= 0:
        label[i] = 1
    elif _y <= 0 and __y > 0:
        label[i] = 2
    else:
        label[i] = 3

plt.figure()
plt.title('Training Set:%d Samples' % batch_n)
plt.plot(x.data.numpy(), Myfunc(x.data.numpy()), 'b-', label='split-line')
plt.plot(x.data.numpy(), Myfunc2(x.data.numpy()), 'b-')
colors = label.data.numpy()
plt.scatter(train_set.data.numpy()[:, 0], train_set.data.numpy()[:, 1], c=label.data.numpy(), s=20, lw=0, cmap='RdYlGn')
plt.legend()
plt.show()

trainning set

到此，训练集创建完毕。

二、搭建神经网络

输入给神经网络的是一个“点”，有(x, y)两个参数，所以神经网络输入层维度是2；神经网络要将这个些点分为四类，输出层维度是4；隐藏层我们使用30个神经元，选用sigmoid激活函数。

使用CrossEntropyLoss（交叉熵）损失函数，Adam优化器，初始化学习率0.3

class Net(torch.nn.Module):
    def __init__(self, in_dim, hidden_dim, out_dim):
        super(Net, self).__init__()
        self.hidden = torch.nn.Linear(in_dim, hidden_dim)
        self.predict = torch.nn.Linear(hidden_dim, out_dim)

    def forward(self, x):
        x = self.hidden(x)
        x = F.sigmoid(x)
        x = self.predict(x)
        return x

net = Net(2, 30, 4)
loss_func = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(net.parameters(), lr=0.3)

三、训练神经网络

用for循环做1500次迭代训练。

for i in range(1500):
    pre_y = net(train_set)
    loss = loss_func(pre_y, label)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    print("loss:{}".format(loss))

四、创建测试集验证模型

我们已经用训练集对神经网络完成了训练。接下来我们创建一个含有2000个样本的测试集来验证我们的训练成果。

重新种下一颗随机数种子，确保创建的测试集是新的。

#create test set
batch_n = 2000
setup_seed(100)
x = torch.linspace(-10, 10, batch_n).reshape(batch_n, 1)
y = torch.randn(batch_n, 1)

test_set = torch.tensor(torch.cat((x, y), 1), dtype=torch.float32)
label = torch.tensor(torch.zeros(batch_n), dtype=torch.int64) #初始化

for i in range(batch_n):
    _y = Myfunc(x[i].data) - y[i].data
    __y = Myfunc2(x[i].data) - y[i].data
    if _y > 0 and __y > 0:
        label[i] = 0
    elif _y > 0 and __y <= 0:
        label[i] = 1
    elif _y <= 0 and __y > 0:
        label[i] = 2
    else:
        label[i] = 3

放进神经网络前向传播，并得到预测的标签。

pre_y = net(test_set)
pre_label = torch.max(pre_y, 1)[1]

计算准确率

#calculate accuracy
cnt = 0
for i in range(batch_n):
    if pre_label[i] == label[i]:
        cnt = cnt + 1
accuracy = float(cnt)/float(batch_n)*100

可视化训练成果。

五、总代码及训练成果

import torch
import matplotlib.pyplot as plt
import torch.nn.functional as F
import numpy as np

#random seed
def setup_seed(seed):
    torch.manual_seed(seed)
    torch.cuda.manual_seed_all(seed)

setup_seed(50)

#create trainning set
batch_n = 1000
x = torch.linspace(-10, 10, batch_n).reshape(batch_n, 1)
y = torch.randn(batch_n, 1)

def Myfunc(x):
    y = 0.5*np.cos(x) + 0.4*np.sin(2*x) + 0.3*np.sin(3*x)
    return y

def Myfunc2(x):
    y = 0.002*np.power(x, 3) + 0.01*np.power(x-3, 2)
    return y

train_set = torch.tensor(torch.cat((x, y), 1), dtype=torch.float32)
label = torch.tensor(torch.zeros(batch_n), dtype=torch.int64)

for i in range(batch_n):
    _y = Myfunc(x[i].data) - y[i].data
    __y = Myfunc2(x[i].data) - y[i].data
    if _y > 0 and __y > 0:
        label[i] = 0
    elif _y > 0 and __y <= 0:
        label[i] = 1
    elif _y <= 0 and __y > 0:
        label[i] = 2
    else:
        label[i] = 3

plt.figure()
plt.subplot(1, 2, 1)
plt.title('Training Set:%d Samples' % batch_n)
plt.plot(x.data.numpy(), Myfunc(x.data.numpy()), 'b-', label='split-line')
plt.plot(x.data.numpy(), Myfunc2(x.data.numpy()), 'b-')
colors = label.data.numpy()
plt.scatter(train_set.data.numpy()[:, 0], train_set.data.numpy()[:, 1], c=label.data.numpy(), s=20, lw=0, cmap='RdYlGn')
plt.legend()

#network
class Net(torch.nn.Module):
    def __init__(self, in_dim, hidden_dim, out_dim):
        super(Net, self).__init__()
        self.hidden = torch.nn.Linear(in_dim, hidden_dim)
        self.predict = torch.nn.Linear(hidden_dim, out_dim)

    def forward(self, x):
        x = self.hidden(x)
        x = F.sigmoid(x)
        x = self.predict(x)
        return x

net = Net(2, 30, 4)
loss_func = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(net.parameters(), lr=0.3)

#trainning
for i in range(1500):
    pre_y = net(train_set)
    loss = loss_func(pre_y, label)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    print("loss:{}".format(loss))

#create test set
batch_n = 2000
setup_seed(100)
x = torch.linspace(-10, 10, batch_n).reshape(batch_n, 1)
y = torch.randn(batch_n, 1)

test_set = torch.tensor(torch.cat((x, y), 1), dtype=torch.float32)
label = torch.tensor(torch.zeros(batch_n), dtype=torch.int64)

for i in range(batch_n):
    _y = Myfunc(x[i].data) - y[i].data
    __y = Myfunc2(x[i].data) - y[i].data
    if _y > 0 and __y > 0:
        label[i] = 0
    elif _y > 0 and __y <= 0:
        label[i] = 1
    elif _y <= 0 and __y > 0:
        label[i] = 2
    else:
        label[i] = 3

#forward
pre_y = net(test_set)
pre_label = torch.max(pre_y, 1)[1]

#calculate accuracy
cnt = 0
for i in range(batch_n):
    if pre_label[i] == label[i]:
        cnt = cnt + 1
accuracy = float(cnt)/float(batch_n)*100

plt.subplot(1, 2, 2)
plt.title('Prediction:%d Samples' % batch_n)
plt.plot(x.data.numpy(), Myfunc(x.data.numpy()), 'b--', label='split-line')
plt.plot(x.data.numpy(), Myfunc2(x.data.numpy()), 'b--')
plt.scatter(test_set.data.numpy()[:, 0], test_set.data.numpy()[:, 1], c=pre_label.data.numpy(), s=20, lw=0, cmap='RdYlGn')
plt.legend()


plt.text(6.5, -3.3, 'Accuracy=%.2f %%' % accuracy, fontdict={'size': 10, 'color':  'red'})
plt.text(-10, -3.3, 'Supervised Learning - Classification', fontdict={'size': 12, 'color':  'black'})
plt.show()

classifica

 

Coder.AN
关注
专栏目录
Pytorch快速入门系列---（六）Pytorch实现全连接神经网络
qq_42681787的博客
03-17 4319
全连接神经网络(Multi-Layer Perception，MLP)或者叫多层感知机，是一种连接方式较为简单的人工神经网络结构，属于前馈神经网络的一种，主要由输入层、隐藏层和输出层构成，并且在每个隐藏层中可以有多个神经元。MLP网络是可以应用于几乎所有任务的多功能学习方法，包括分类、回归，甚至是无监督学习。神经网络的学习能力主要来源于网络结构，而且根据层的数量不同、每层神经元数量的多少，以及信息在层之间的传播方式，可以组合成多种神经网络模型。全连接神经网络主要由输入层、隐藏层和输出层构成。
PyTorch实施“监督式对比学习”（顺带SimCLR）-Python开发
05-25
SupContrast：有监督的对比学习本文档以CIFAR为例说明了PyTorch中以下论文的参考实现：（1）有监督的对比学习。 论文（2）一个简单的Fr SupContrast：有监督的对比学习本文档以CIFAR为例说明了PyTorch中以下论文的参考实现：（1）有监督的对比学习。 论文（2）视觉表示对比学习的简单框架。 纸张损失功能loss.py中的损失函数SupConLoss以要素（L2标准化）和标签为输入，并返回损失。 如果标签为None或未传递给它，则它会退化为SimCLR。 用法
Pytorch搭建神经网络完成监督学习-回归任务
AnHongjun的博客
01-28 1405
一、创建训练集 要实现监督学习训练，我们首先要有训练集(trainning set)。我们用如下方法创建： import torch import matplotlib.pyplot as plt import torch.nn.functional as F from torch.autograd import Variable batch_n = 100 #create training-set x = torch.linspace(-3, 3, batch_n).reshape(batch_
pytorch解决分类问题神经网络
m0_61385981的博客
03-12 174
【代码】pytorch解决分类问题神经网络
探索PyTorch的半监督学习与自监督学习
程序员光剑
01-25 670
1.背景介绍 在深度学习领域，半监督学习和自监督学习是两种非常有趣的方法，它们可以帮助我们解决大量实际问题。在本文中，我们将探讨PyTorch如何实现半监督学习和自监督学习，并讨论它们的优缺点以及实际应用场景。 1. 背景介绍 半监督学习和自监督学习是一种解决数据不完全标注的方法。在半监督学习中，我们有一部分标注的数据，但是大部分数据是未标注的。在自监督学习中，我们没有任何标注的数据，但是可...
有监督特征对比学习pytorch
xiashaoyan1的专栏
03-13 1833
有监督特征对比
Pytorch学习笔记【6】：简单神经网络实现分类
qq_36499794的博客
11-10 456
注意看代码注释，所有的解析都写在代码注释 里面了 1. 代码： import torch import torch.nn.functional as F import matplotlib.pyplot as plt from torch.autograd import Variable """ torch.normal(means, std, out=None) 参...
pytorch下搭建神经网络进行图像识别任务
yykkkybs的博客
06-29 916
任务说明：本次对自己的数据集进行分类操作，后续采用LSTM循环神经网络，本次图像分为 ‘bmp2’,‘btr70’,'t72’三类。 (一) 图像数据预处理部分 import numpy as np import os import torch from torch.utils.data.dataset import Dataset from PIL import Image import matplotlib.pyplot as plt #导入工具包 #首先将图像数据生成列表，并分类别加上标签 d
Pytorch：图卷积神经网络-半监督学习实现，对比SVM, LP
Jingmin Wei's Blog
03-15 5972
使用图卷积神经网络对论文数据集实现半监督分类，可是化了数据分布和相关结果，并对比SVM, LP等分类器的精度
PyTorch上搭建简单神经网络实现回归和分类的示例.pdf
04-17
在PyTorch中，搭建神经网络是机器学习和深度学习任务的基础。本示例主要讲解如何在PyTorch平台上创建简单的神经网络模型，用于解决回归和分类问题。首先，我们来了解一下PyTorch的基本概念和操作。 PyTorch是一个...
SupContrast:PyTorch实施“监督式对比学习”（顺带SimCLR）
03-19
SupContrast：监督式对比学习 此库使用CIFAR作为说明性示例，涵盖了PyTorch中以下论文的参考实现： （1）监督式对比学习。（2）视觉表示对比学习的简单框架。 损失函数 损耗函数在losses.py花费features （L2归一化）和labels作为输入，并返回损耗。如果labels为None或未传递给它，则它会退化为SimCLR。 用法： from losses import SupConLoss # define loss with a temperature `temp` criterion = SupConLoss ( temperature = temp ) # features: [bsz, n_views, f_dim] # `n_views` is the number of crops from each image # better be L2 no
Python-深度强化学习监督学习实现与运行环境TensorFlowPyTorch
08-11
深度强化学习/监督学习实现与运行环境(TensorFlow/PyTorch)
albert_pytorch：用于自我监督学习语言表示的精简版证书
02-03
| albert_pytorch 该存储库包含本文中albert模型的PyTorch实现 镇中兰。 陈明达 依存关系 pytorch = 1.10 cuda = 9.0 cudnn = 7.5 scikit学习 句子 下载预训练的英语模型 官方下载链接： 适应此版本，下载pytorch模型（Google驱动器）： v1 v2 微调 １。 将config.json和30k-clean.model放入prev_trained_model/albert_base_v2目录。 例： ├── prev_trained_model | └── albert_base_v2 | | └── pytorch_model.bin | | └── config.json | | └── 30k-clean.model 2．将albert tf检查点转换为pytorch python convert_albert_tf_checkpoint_to_pytorch . py \ - - tf_checkpoint_path = . / prev_trained_m
byol-pytorch：在Pytorch中从Deepmind中实现“引导自己的潜能”自我监督学习的可用实现
02-04
在Pytorch中引导您自己的潜能（BYOL） 自我监控学习的一种非常实际实现，无需对比学习，也不必指定否定对，就可以达到一种新的技术水平（超越SimCLR）。 该存储库提供了一个模块，可以轻松包装任何基于图像的神经网络（残留网络，鉴别器，策略网络），以立即开始从未标记的图像数据中受益。 更新1：现在有表明批处理规范化是使此技术正常运行的关键 更新2：一篇成功地用组规范+权重标准化替换了批次规范，驳斥了BYOL起作用所需的批次统计信息 现在，让您的组织不必为标签付费：) 安装 $ pip install byol-pytorch 用法 只需插入您的神经网络，即可指定（1）图像尺寸以及（2
Pytorch 实现自编码无监督学习.zip
01-22
Pytorch 实现自编码无监督学习
pytorch搭建分类器分类CIFAR10
江湖大梦的Blog
04-10 690
pytorch对CIFAR10进行分类 最近实验室的项目需要用到pytorch，pytorch也是目前最流行的深度学习框架之一，非常简单好用，这次就使用pytorch搭建一个简单的卷积神经网络用于CIFAR10的分类任务。 对于一个有监督的分类任务，大概的训练过程是： 加载数据，包括测试数据和训练数据，数据包括数据本身和标签 定义一个网络，其中包括卷积层，池化层，全连接层，激活层等等 将输入数...
神经网络与深度学习python源码无监督学习概论
最新发布
04-20
在进行神经网络与深度学习的研究和开发时，Python提供了诸如TensorFlow、PyTorch、Keras等多种框架，极大地简化了模型搭建、训练和部署的过程。 #### 五、无监督学习的具体实现方法 ##### 5.1 自编码器...
Python机器学习(scikit-learn)：监督学习 --- 神经网络（深度学习）
谢TS的博客
05-31 613
神经网络算法，又叫“深度学习”。虽然深度学习在许多机器学习应用中都有巨大的潜力，但深度学习算法往往经过精确调整，只适用于特定的使用场景。scikit-learn 中实现了可用于分类和回归的 多层感知机(multilayer perceptron, MLP)，它可以作为研究复杂深度学习算法的起点。MLP 也被称为(普通)前馈神经网络，有时也简称为神经网络。
【Pytorch Lighting】第 8 章：自监督学习
sikh_0529的博客
11-07 1095
自机器学习问世以来，该领域被整齐地划分为两个阵营：监督学习和无监督学习。在监督学习中，应该有一个可用的标记数据集，如果不是这样，那么剩下的唯一选择就是无监督学习。虽然无监督学习听起来很棒，因为它可以在没有标签的情况下工作，但在实践中，无监督方法（如聚类）的应用非常有限。评估无监督方法的准确性或部署它们也没有简单的选择。最实用的机器学习应用程序往往是监督学习应用程序（例如，识别图像中的对象、预测未来的股票价格或销售量，或者在 Netflix 上向您推荐合适的电影）。监督学习的权衡是精心策划和高质量可信赖标签的
深度学习与循环神经网络：人工智能新篇章
深度学习的崛起部分归功于深度学习框架的发展，如TensorFlow、PyTorch、Keras等，这些工具极大地简化了神经网络模型的构建和训练过程，包括RNN的实现。通过这些框架，开发者可以使用Python等高-level语言编写代码，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值