【深度学习】Pytorch学习笔记（三）

最新推荐文章于 2022-10-18 10:29:48 发布
最新推荐文章于 2022-10-18 10:29:48 发布
阅读量342 收藏
点赞数
分类专栏： Pytorch 深度学习 文章标签： pytorch pytorch进行二分类 pytorch二分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38883271/article/details/107596809
版权

实现二分类神经网络（数据线性可分）：

import torch
import torch.nn.functional as F
import numpy as np
import warnings
import matplotlib.pyplot as plt
from sklearn.metrics import accuracy_score

warnings.filterwarnings("ignore")

x1 = torch.from_numpy(np.random.uniform(0.5, 2.15, (50, 2)))
y1 = torch.ones((50, 1))
x2 = torch.from_numpy(np.random.uniform(2.15, 3.8, (50, 2)))
y2 = torch.zeros((50, 1))
y = torch.cat((y1, y2), dim=0)     # 列合并
x = torch.cat((x1, x2), dim=0).type(torch.FloatTensor)      # 列合并，数据类型改为float32
x = torch.cat((x, y), dim=1)       # 行合并
x = x[torch.randperm(x.size(0))]   # 按行维度对x打乱次序，torch.randperm(x.size(0))返回打乱次序后的索引
x_train, y_train = x[:70, :2], x[:70, 2].type(torch.LongTensor)  # 训练集
x_test, y_test = x[70:, :2], x[70:, 2].type(torch.LongTensor)    # 测试集

for i in range(x.size(0)):
    if x[i, 2] == 1.0:
        plt.scatter(x[i, 0].numpy(), x[i, 1].numpy(), marker="^", color='m', edgecolors='k', s=100)
    else:
        plt.scatter(x[i, 0].numpy(), x[i, 1].numpy(), marker="^", color='c', edgecolors='k', s=100)
plt.title("Raw data")
plt.show()

class Model(torch.nn.Module):

    # 初始化网络的层结构
    def __init__(self, n_features, n1_hidden, n_output):
        super(Model, self).__init__()
        self.hidden_one = torch.nn.Linear(n_features, n1_hidden)
        self.out_layer = torch.nn.Linear(n1_hidden, n_output)

    # 重写父类方法，实现前向传播
    def forward(self, input):
        output = F.relu(self.hidden_one(input))
        output = F.sigmoid(self.out_layer(output))
        return output

model =Model(2, 30, 2)
optimizer = torch.optim.Adam(model.parameters(), lr=1e-1)   # 定义优化器
loss_func = torch.nn.CrossEntropyLoss()  # 定义损失函数为交叉熵

print("Training-------------------")
for t in range(100):
    classification = model(x_train)   # 实例化模型对象
    loss = loss_func(classification, y_train)   # 计算交叉熵

    optimizer.zero_grad()   # 梯度清零
    loss.backward()         # 实现后向传播，计算各参数梯度
    optimizer.step()        # 更新各参数的值

print("Testing--------------------")
classification_pre = model(x_test)
y_pre = classification_pre.argmax(dim=1).numpy()   # 寻找概率最大的列索引
print("Testing Accuracy: ", accuracy_score(y_pre, y_test.numpy()))  # 计算正确率

Training-------------------
Testing--------------------
Testing Accuracy:  1.0

在这里插入图片描述
实现二分类神经网络（数据非线性可分）：

import torch
import warnings
import numpy as np
import matplotlib.pyplot as plt
import torch.nn.functional as F
from sklearn.metrics import accuracy_score
from matplotlib.colors import ListedColormap
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_classification, make_moons

warnings.filterwarnings("ignore")
cm_bright = ListedColormap(['#FF0000', '#0000FF'])

X, y = make_classification(n_features=2, n_redundant=0, n_informative=2,
                           random_state=1, n_clusters_per_class=1)
rng = np.random.RandomState(2)
X += 2 * rng.uniform(size=X.shape)
linearly_separable = (X, y)
X, y = make_moons(noise=0.3, random_state=0)
x_train, x_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
x_train, x_test, y_train, y_test = torch.from_numpy(x_train).type(torch.FloatTensor), torch.from_numpy(x_test).type(torch.FloatTensor), torch.from_numpy(y_train).type(torch.LongTensor), torch.from_numpy(y_test).type(torch.LongTensor)

plt.scatter(x_train[:, 0], x_train[:, 1], c=y_train, cmap=cm_bright,
           edgecolors='k', s=80)

plt.scatter(x_test[:, 0], x_test[:, 1], c=y_test, cmap=cm_bright, alpha=0.5,
           edgecolors='k', s=80)
plt.show()

class Model(torch.nn.Module):

    # 初始化网络的层结构
    def __init__(self, n_features, n1_hidden, n2_hidden, n_output):
        super(Model, self).__init__()
        self.hidden_one = torch.nn.Linear(n_features, n1_hidden)
        self.hidden_two = torch.nn.Linear(n1_hidden, n2_hidden)
        self.out_layer = torch.nn.Linear(n2_hidden, n_output)

    # 重写父类方法，实现前向传播
    def forward(self, input):
        output = F.relu(self.hidden_one(input))
        output = F.relu(self.hidden_two(output))
        output = F.sigmoid(self.out_layer(output))
        return output

model =Model(2, 50, 10, 2)
optimizer = torch.optim.Adam(model.parameters(), lr=1e-2)   # 定义优化器
loss_func = torch.nn.CrossEntropyLoss()  # 定义损失函数为交叉熵

print("Training-------------------")
for t in range(1000):
    classification = model(x_train)   # 实例化模型对象
    loss = loss_func(classification, y_train)   # 计算交叉熵

    optimizer.zero_grad()   # 梯度清零
    loss.backward()         # 实现后向传播，计算各参数梯度
    optimizer.step()        # 更新各参数的值
    if t % 5 == 0:
        print("CrossEntropy: ", loss.data.numpy())

print("Testing--------------------")
classification_pre = model(x_test)
y_test_pre = classification_pre.argmax(dim=1).numpy()   # 寻找概率最大的列索引
print("Testing Accuracy: ", accuracy_score(y_test_pre, y_test.numpy()))  # 计算正确率

Training-------------------
CrossEntropy:  0.6893401
CrossEntropy:  0.60950667
CrossEntropy:  0.5358823
CrossEntropy:  0.485409
CrossEntropy:  0.45639047
CrossEntropy:  0.4410974
CrossEntropy:  0.4293453
CrossEntropy:  0.42015803
CrossEntropy:  0.41060606
CrossEntropy:  0.40126452
CrossEntropy:  0.38995636
CrossEntropy:  0.3775206
CrossEntropy:  0.36911288
CrossEntropy:  0.36071128
CrossEntropy:  0.3529678
CrossEntropy:  0.3482838
CrossEntropy:  0.34492618
CrossEntropy:  0.34195
CrossEntropy:  0.33962718
CrossEntropy:  0.33792797
CrossEntropy:  0.336431
CrossEntropy:  0.3351852
CrossEntropy:  0.3341276
CrossEntropy:  0.33325976
CrossEntropy:  0.33256066
CrossEntropy:  0.33196408
CrossEntropy:  0.33147833
CrossEntropy:  0.33106938
CrossEntropy:  0.33071905
CrossEntropy:  0.33041888
CrossEntropy:  0.33016908
CrossEntropy:  0.32994902
CrossEntropy:  0.3297502
CrossEntropy:  0.32957315
CrossEntropy:  0.3294134
CrossEntropy:  0.32925922
CrossEntropy:  0.32909274
CrossEntropy:  0.32885364
CrossEntropy:  0.32834315
CrossEntropy:  0.32773632
CrossEntropy:  0.32717824
CrossEntropy:  0.32655054
CrossEntropy:  0.32609588
CrossEntropy:  0.32554683
CrossEntropy:  0.32522535
CrossEntropy:  0.3247946
CrossEntropy:  0.32441214
CrossEntropy:  0.32398418
CrossEntropy:  0.32359704
CrossEntropy:  0.32332298
CrossEntropy:  0.3229001
CrossEntropy:  0.32256198
CrossEntropy:  0.3223457
CrossEntropy:  0.32196796
CrossEntropy:  0.32155162
CrossEntropy:  0.32127237
CrossEntropy:  0.32093886
CrossEntropy:  0.32065076
CrossEntropy:  0.32031897
CrossEntropy:  0.3200694
CrossEntropy:  0.31971872
CrossEntropy:  0.31947976
CrossEntropy:  0.31913522
CrossEntropy:  0.31883866
CrossEntropy:  0.3185804
CrossEntropy:  0.31833082
CrossEntropy:  0.31814486
CrossEntropy:  0.31790042
CrossEntropy:  0.3176914
CrossEntropy:  0.31740978
CrossEntropy:  0.3171655
CrossEntropy:  0.31695986
CrossEntropy:  0.3167738
CrossEntropy:  0.31658953
CrossEntropy:  0.31644794
CrossEntropy:  0.31624088
CrossEntropy:  0.31610516
CrossEntropy:  0.31596395
CrossEntropy:  0.31586203
CrossEntropy:  0.31572524
CrossEntropy:  0.31557816
CrossEntropy:  0.31547117
CrossEntropy:  0.31535515
CrossEntropy:  0.31528077
CrossEntropy:  0.3151677
CrossEntropy:  0.31507483
CrossEntropy:  0.3149873
CrossEntropy:  0.31492448
CrossEntropy:  0.3148493
CrossEntropy:  0.31479803
CrossEntropy:  0.31473917
CrossEntropy:  0.31466782
CrossEntropy:  0.31460458
CrossEntropy:  0.3145462
CrossEntropy:  0.31449944
CrossEntropy:  0.31445935
CrossEntropy:  0.31439894
CrossEntropy:  0.31434867
CrossEntropy:  0.31430647
CrossEntropy:  0.3142721
CrossEntropy:  0.31423426
CrossEntropy:  0.3142011
CrossEntropy:  0.31416646
CrossEntropy:  0.31413233
CrossEntropy:  0.31410325
CrossEntropy:  0.31407407
CrossEntropy:  0.31405437
CrossEntropy:  0.31402227
CrossEntropy:  0.31399584
CrossEntropy:  0.31396863
CrossEntropy:  0.31395158
CrossEntropy:  0.31392598
CrossEntropy:  0.3139136
CrossEntropy:  0.31389135
CrossEntropy:  0.313874
CrossEntropy:  0.3138553
CrossEntropy:  0.31384113
CrossEntropy:  0.31382692
CrossEntropy:  0.31380475
CrossEntropy:  0.31379092
CrossEntropy:  0.31377712
CrossEntropy:  0.31375965
CrossEntropy:  0.3137511
CrossEntropy:  0.31373438
CrossEntropy:  0.31372213
CrossEntropy:  0.31371096
CrossEntropy:  0.31369886
CrossEntropy:  0.3136886
CrossEntropy:  0.31367883
CrossEntropy:  0.31366745
CrossEntropy:  0.3136582
CrossEntropy:  0.31364965
CrossEntropy:  0.31363907
CrossEntropy:  0.31363142
CrossEntropy:  0.31362414
CrossEntropy:  0.31361386
CrossEntropy:  0.31360844
CrossEntropy:  0.31359988
CrossEntropy:  0.31359214
CrossEntropy:  0.31358448
CrossEntropy:  0.31357712
CrossEntropy:  0.31357044
CrossEntropy:  0.31356472
CrossEntropy:  0.31355855
CrossEntropy:  0.31355265
CrossEntropy:  0.3135458
CrossEntropy:  0.3135406
CrossEntropy:  0.31353483
CrossEntropy:  0.3135291
CrossEntropy:  0.3135251
CrossEntropy:  0.31351954
CrossEntropy:  0.31351504
CrossEntropy:  0.31351194
CrossEntropy:  0.31350532
CrossEntropy:  0.31350046
CrossEntropy:  0.31349596
CrossEntropy:  0.31349266
CrossEntropy:  0.3134887
CrossEntropy:  0.31348363
CrossEntropy:  0.31348032
CrossEntropy:  0.31347623
CrossEntropy:  0.31347343
CrossEntropy:  0.31346887
CrossEntropy:  0.3134656
CrossEntropy:  0.3134624
CrossEntropy:  0.31345952
CrossEntropy:  0.31345627
CrossEntropy:  0.3134525
CrossEntropy:  0.31344905
CrossEntropy:  0.31344616
CrossEntropy:  0.31344357
CrossEntropy:  0.3134402
CrossEntropy:  0.31343746
CrossEntropy:  0.31343508
CrossEntropy:  0.3134327
CrossEntropy:  0.3134292
CrossEntropy:  0.31342658
CrossEntropy:  0.3134243
CrossEntropy:  0.31342158
CrossEntropy:  0.31341928
CrossEntropy:  0.31341732
CrossEntropy:  0.31341434
CrossEntropy:  0.31341252
CrossEntropy:  0.31341013
CrossEntropy:  0.31340784
CrossEntropy:  0.31340632
CrossEntropy:  0.31340423
CrossEntropy:  0.3134018
CrossEntropy:  0.31339988
CrossEntropy:  0.3133982
CrossEntropy:  0.31339604
CrossEntropy:  0.31339425
CrossEntropy:  0.31339213
CrossEntropy:  0.3133905
CrossEntropy:  0.3133886
CrossEntropy:  0.31338698
CrossEntropy:  0.3133853
CrossEntropy:  0.31338364
CrossEntropy:  0.31338197
CrossEntropy:  0.31338048
Testing--------------------
Testing Accuracy:  0.9333333333333333

深色的为训练集，浅色的为测试集：
在这里插入图片描述

Legolas~
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch深度学习笔记3
cencen_binbin的博客
02-25 215
1、 批量归一化（BatchNormalization） 对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化（深度模型） 利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。 1.对全连接层做批量归一化位置： 全连接层中的仿射变换和激活函数之间。 全连接：...
pytorch 深度学习笔记（一）
weixin_39721214的博客
02-14 1360
一、线性回归 1.pytorch 的Broadcasting Semantics 如果遵守以下规则，则两个张量是“可播放的”： 每个张量至少有一个维度。 迭代尺寸大小时，从尾随尺寸开始，尺寸大小必须相等，其中一个为1，或者其中一个不存在。 例如： x=torch.empty(5,7,3) y=torch.empty(5,7,3) same shapes are always broadcasta...
torch.cat()用法详解
Vertira的博客
10-18 5055
torch.cat()用法详解
Pytorch的torch.cat实例
xrinosvip的博客
07-23 1万+
import torch 通过 help((torch.cat)) 可以查看 cat 的用法 cat(seq,dim,out=None) 其中 seq表示要连接的两个序列，以元组的形式给出，例如:seq=(a,b), a,b 为两个可以连接的序列 dim 表示以哪个维度连接，dim=0, 横向连接 dim=1,纵向连接 #实例： ...
莫烦pytorch学习01：pytorch与numpy之间的转换
我的博客
03-25 501
import torch import numpy as np #abs 绝对值转换 data = [-1,-2,-3,4] tensor = torch.FloatTensor(data) #32bit浮点数 print( '\nabs', '\nnumpy',np.abs(data), '\ntorch',torch.abs(tensor), ) print( ...
唐宇迪机器学习课程笔记：逻辑回归之信用卡检测任务
qq_37418807的博客
05-25 952
信用卡欺诈检测 基于信用卡交易记录数据建立分类模型来预测哪些交易记录是异常的哪些是正常的。 任务流程： 加载数据，观察问题 针对问题给出解决方案 数据集切分 评估方法对比 逻辑回归模型 建模结果分析 方案效果对比 主要解决问题： （1）在此项目中，我们首选对数据进行了观察，发现了其中样本不均衡的问题，其实我们做任务工作之前都一定要先进行数据检查，看看数据有什么问题，针对这些问题来选择解决方案。 （2）这里我们提出了两种方法，下采样和过采样，两条路线来进行对比实验，任何实际问题来了之后，我们都不会一条路走
【pytorch】如何更新模型父类参数
zkq_1986的博客
10-18 522
更新方法例子如下： import torch import torch.nn as nn class A(nn.Module): def __init__(self): super(A,self).__init__() self.l1=nn.Linear(2,2) def forward(self,x): return self....
动手学深度学习Pytorch版本学习笔记 Task4
01-06
1.机器翻译及相关技术 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的...
深度学习 Pytorch 小土堆笔记
最新发布
02-02
小土堆Pytorch笔记
动手学深度学习PyTorch版学习笔记2
01-06
卷积神经网络基础 本节我们介绍卷积神经网络的基础概念，主要是卷积层和池化层，并解释填充、步幅、输入通道和输出通道的含义。 二维卷积层 本节介绍的是最常见的二维卷积层，常用于处理图像数据。...
深度学习PyTorch版学习笔记与心得（二）
01-20
多层感知机  1.多层感知机的基本知识  多层感知机（MLP）是研究神经网络的一个非常重要的多层模型。  下图展示了一个多层感知机的神经网络图，它含有一个隐藏层，该层中有5个隐藏单元。 表达公式： ...
动手学深度学习Pytorch版本学习笔记 Task3
01-20
1.过拟合、欠拟合及其解决方案 过拟合：模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）； 欠拟合：模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。...
torch.argmax的dim维度问题，（笔记向）
刺无名客的博客
03-28 3589
最初学的时候有点潦草，不多说，进例子 首先来个二维的 import torch a=torch.tensor([[1,2,3],[-1,3,2]]) print(a.shape) b=torch.argmax(a,dim=0) print(b) ''' torch.Size([2, 3]) tensor([0, 1, 0]) ''' import torch a=to...
pytorch --- torch.cat()
orangerfun的博客
01-16 2463
torch.cat((tensor1,tensor2), dim) 将两个tensor连接起来，具体如何连接见下面例子 x = torch.rand((2,2,3)) y = torch.rand((2,2,3)) print("x:",x) print("y:",y) print("dim=0:", torch.cat((x,y),dim=0)) print("dim=1:", torch.ca...
keras 搭建神经网络
xingkongyidian的博客
10-29 8921
1 简单的回归 #coding=utf-8 import numpy as np np.random.seed(1337) from keras.models import Sequential from keras.layers import Dense import matplotlib.pyplot as plt # create some data X = np.linspace(-...
【Pytorch学习笔记】7.继承Module类构建模型时，子模块的构建原理（基于OrderedDict）以及关于Python类的属性赋值机制
takedachia的博客
05-13 1174
【Pytorch学习笔记】7.继承Module类构建模型时（关于__init__构造函数），子模块的构建原理 以及 关于Python类的属性赋值机制
Pytorch笔记 之 torch.nn 模块简介
热门推荐
子耶
09-04 6万+
参考翻译 [What is torch.nn really?](https://pytorch.org/tutorials/beginner/nn_tutorial.html) 主要是对 PyTorch 框架的各模块进行简要介绍 一定程度上是 PyTorch 的入门笔记 假设已经对神经网络相关基础知识有了一定了解 （或实现过机器学习梯度下降相关代码）
【函数小trick】torch中scatter()、scatter_()详解（多标签one-hot向量生成）
诸葛灬孔暗
07-05 1334
1. 背景 可以先看torch官方文档介绍： 主要作用是根据索引值index，向tensor中指定dim维度的index位置写入scr所对应的数值，可以用来生成one-hot向量和特定mask，熟练使用该函数，就不用暴力for循环啦。 2. 函数应用 （1）one-hot向量生成 将图像的标签值转换为一组只有0和1组成的向量，这是DL领域常用到的。 import torch targets=torch.zeros(3,5) index = torch.LongTensor([[3],[2]
【深度学习】生成式对抗网络的损失函数的理解
qq_38883271的博客
08-06 1万+
生成式对抗网络即GAN由生成器和判别器组成。原论文中，关于生成器和判别器的损失函数是写成以下形式： 首先，第一个式子我们不看梯度符号的话即为判别器的损失函数，logD(xi)为判别器将真实数据判定为真实数据的概率，log(1-D(G(zi)))为判别器将生成器生成的虚假数据判定为真实数据的对立面即将虚假数据仍判定为虚假数据的概率。判别器就相当于警察，在鉴别真伪时，必须要保证鉴别的结果真的就是真的，假的就是假的，所以判别器的总损失即为二者之和，应当最大化该损失。由于判别器（警察）鉴别真伪的能力随着训练次数的
李沐深度学习pytorch
09-11
李沐是深度学习领域的知名专家，他是PyTorch深度学习框架的创始人之一。...总之，李沐的视频和编程笔记提供了关于PyTorch深度学习框架的宝贵信息和实践经验，对深度学习和PyTorch的学习者来说是一个很好的学习资源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值