![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习-Pytorch
文章平均质量分 94
深度学习-Pytorch
CityD
这个作者很懒,什么都没留下…
展开
-
Pytorch实现文本情感分析
文本情感分析在本文中介绍如何使用神经网络实现情感分析任务,主要内容为:加载预训练的词向量介绍如何处理情感分析数据集使用循环神经网络模型训练使用以为卷积神经网络模型训练参考:动手学深度学习1、加载Glove预训练的词向量下面创建TokenEmbedding类来加载并使用预训练的词向量。import torchimport osimport collectionsfrom torch import nnfrom d2l import torch as d2lfrom torc原创 2022-05-29 21:46:18 · 2978 阅读 · 0 评论 -
pytorch中的pad_sequence、pack_padded_sequence和pad_packed_sequence函数
torch.nn.utils.rnn.pad_sequence、torch.nn.utils.rnn.pack_padded_sequence和torch.nn.utils.rnn.pad_packed_sequence在使用pytorch训练模型的时候,一般采用batch的形式同时处理多个样本序列,而同一batch中时序信息的的长度是不同的,这样就无法传入RNN,LSTM,GRU这样的模型中进行处理。一个常用的做法是按照一个指定的长度(或者按照batch中最长的序列长度)对batch中的序列进行填充(p原创 2022-05-26 12:17:31 · 8127 阅读 · 2 评论 -
Chapter7 循环神经网络-2
文章目录5、LSTM & GRU5.1、长短时记忆网络(Long Short-Term Memory, LSTM)5.1.1、相关概念5.1.2、从零开始实现5.1.3、简洁实现5.2、门控循环单元(Gated Recurrent Unit, GRU)5.2.1、相关概念5.2.2、模型实现6、深度循环神经网络7、双向循环神经网络(Bi-RNN)第一部分地址5、LSTM & GRU在实际应用中,上述的标准循环神经网络的优化算法面临一个很大的问题,就是长期依赖问题——由于网络结构的变深使原创 2022-04-23 17:09:39 · 1471 阅读 · 0 评论 -
Chapter7 循环神经网络-1
文章目录1、语言模型1.1、语言模型的概念1.2、语言模型的计算1.3、马尔科夫假设1.4、语言模型评价指标:困惑度(Perplexity)2、文本预处理2.1、读取数据集2.2、词元化2.3、词表2.4、整合所有的功能3、读取时序数据3.1、随机采样3.2、相邻采样3.3、操作整合4、循环神经网络4.1、概念4.2、通过时间反向传播4.2.1、定义模型4.2.2、模型计算图4.2.2、计算4.3、应用:基于字符级循环神经网络的语言模型4.4、循环神经网络从零实现4.4.1、独热(ont-hot)编码4.4原创 2022-04-23 17:05:02 · 1727 阅读 · 0 评论 -
Chapter6 卷积神经网络(CNN)
卷积神经网络(Convolutional Neural Network, CNN)是一种前馈神经网络,是一种专门用来处理具有类似网格结构的数据的神经网络。例如时间序列数据(可以认为是在时间轴上有规律地采样形成的一维网格)和图像数据(可以看作二维的像素网格)。卷积神经网络在诸多应用领域都表现优异。“卷积神经网络”一词表明该网络使用了卷积(convolution)这种数学运算。卷积是一种特殊的线性运算。卷积神经网络是指那些至少在网络的一层中使用卷积运算来替代一般的矩阵乘法运算的神经网络。CNN网络主要有三部分原创 2022-04-12 14:07:45 · 2125 阅读 · 0 评论 -
Chapter5 深度学习基础
文章目录1、激活函数1.1、sigmoid函数1.2、tanh函数1.3、ReLU函数1.4、softmax函数2、损失函数2.1、平均绝对误差损失函数(L1Loss)2.2、均方误差损失函数(MSELoss)2.3、负对数似然损失函数(NLLLoss)2.3.1、似然2.3.2、似然函数2.3.3、极大似然估计2.3.4、对数似然2.3.5、负对数似然2.3.6、pytorch中的应用2.4、交叉熵损失函数(CrossEntropyLoss)2.4.1、信息量2.4.2、信息熵2.4.3、相对熵(KL散度原创 2022-04-07 11:28:19 · 484 阅读 · 0 评论 -
Chapter4 Pytorch数据处理与可视化(Dataset、DataLoader、tensorboard、torchvision)
目录1、数据处理工具箱概述2、`Dataset`和`DataLoader`2.1、`Dataset`2.2、`DataLoader`3、`tensorboard`/`tensorboardX`3.1、`tensorboard`简介3.2、可视化神经网络3.3、可视化损失值3.4、可视化图像4、`torchvision`4.1、`transforms`4.2、`datasets`4.3、`model`数据下载和预处理是机器学习、深度学习实际项目中耗时又重要得任务,尤其是数据预处理,关系到数据质量和模型性能,原创 2022-03-28 21:34:58 · 1638 阅读 · 0 评论 -
Chapter3 Pytorch神经网络工具箱
利用Pytorch神经网络工具箱,设计一个神经网网络就像搭积木一样,可以极大的简化我们构建模型的任务。在此介绍如何使用Pytorch神经网络工具箱来构建网络,主要有以下内容:神经网络核心组件nn模块中的Module和functional神经网络中的层、块和模型神经网络中的参数管理优化器以及优化器的比较如何构建一个神经网络保存和加载模型GPU1、神经网络核心组件神经网络看起来很复杂,节点很多,层数多,参数更多。但核心部分或组件不多,把这些组件确定之后,这个神经网络就基本确定了,这些核心原创 2022-03-25 22:50:40 · 1630 阅读 · 0 评论 -
Chapter2 Pytorch基础
1、Numpy与TensorTensor自称为神经网络界的Tensor,与Numpy相似,二者可以共享内存,且之间的的转换非常方便和高效。Numpy中的ndarray智能在CPU中进行运算,Torch中的Tensor既可以在CPU也可以在GPU上运行。1.1、Tensor概述对Tensor的操作很多,从接口的角度划分,可以分成两类:torch.function, 如torch.sum、torch.add等。tensor.function, 如tensor.view、tensor.add等。这原创 2022-03-23 21:35:54 · 1874 阅读 · 0 评论 -
Chapter1 Numpy基础
1、生成Numpy数组Numpy是Python的外部库,不在标准库中。因此,要使用它,需要先导入Numpy。import numpy as npNumpy封装了一个新的数据类型ndarry(N-dimensional Array),是一个多维数组对象。该对象封装了许多常用的数学运算函数,方便我们做数据处理。ndarray的生成有多种方式,如从已有数据中创建,利用random创建,创建特定形状的多维数组,利用arange、linspace函数生成等。1.1、从已有数据中创建数组直接对python的原创 2022-03-22 16:07:42 · 2314 阅读 · 0 评论