Pytorch
文章平均质量分 60
AiA_AiA
这个作者很懒,什么都没留下…
展开
-
git 四个状态和三个区域
felixs2013-05-28 15:54:453421收藏2分类专栏:版本控制工具版本控制工具专栏收录该内容11 篇文章0 订阅订阅专栏四个状态和三个区域Git内部只有三个状态,分别是未修改unmodified、修改modified、暂存staged。对于没有加入Git控制的文件,可以视为第四种状态未跟踪untracked。 Git文件流转有三个区域,分别是工作区域、索引区域、本地数据区域。工作树中的文件添加到git版本控制索引中...转载 2021-07-22 21:55:27 · 177 阅读 · 0 评论 -
多层感知机
在这个项目中我们将会探索学习最基本的神经网络: 多层感知机。然后用PyTorch实现注意: 这个项目只是用PyTorch实现多层感知机的基础,所以为了保持教程的简洁我们不会介绍过多的机器学习必要步骤(比如划分训练集测试集时的类平衡,验证集,early stopping)。我们会在下节课学到这些最佳实践。Overview# 分类其中: 这是一个简单的二层多层感知机目标:给定输入, 预测它属于类别的概率。非线性激活函数的使用后...转载 2021-07-15 00:35:41 · 315 阅读 · 0 评论 -
pytorch中LSTM的输入与输出理解
在阅读本篇博客之前希望你在LSTM方面有一定的知识储备,熟悉LSTM网络的内部结构,方便更好的理解pytorch中有关LSTM相关的api。一、参数理解这里我根据lstm的结构定义了一些参数,参数具体含义可以看注释batch_size = 10 #每个batch的大小seq_len = 2000 #模仿输入到LSTM的句子长度input_size = 30 #lstm中输入的维度hidden_size = 18 #lstm中隐藏层神经元的个数num_layers = 2 # 有多少层lstm转载 2021-07-08 23:45:24 · 1569 阅读 · 2 评论 -
Pytorch中的nn.LSTM
Pytorch中LSTM总共有7个参数,前面3个是必须输入的input_size – The number of expected features in the input xhidden_size – The number of features in the hidden state hnum_layers – Number of recurrent layers. E.g., setting num_layers=2 would mean stacking two LSTMs together转载 2021-07-08 23:41:17 · 556 阅读 · 0 评论 -
深度学习理解代码的技巧
1.首先需要建立:数据处理、训练、损失的三个大步骤。2. 在数据处理阶段:有很多方法可以形成按批次输入训练的方法。比如yield、pytorch 的dataloader 3.在训练阶段:有一些固定写法的代码,需要理解,并不要忘记。3.在损失阶段。不同的方法求损失。在模型架构方面: data的shape各个维度代表什么意思,是必须要理解的,理解了 这个,再理解后面的就顺利多了。...原创 2021-07-08 16:38:45 · 393 阅读 · 0 评论 -
Dataloader重要参数与内部机制
文章目录一、pytorch数据输入DatasetDataLoader二、Dataloader参数汇总2.1 sampler:分布式训练需DistributedSampler2.2 collate_fn:将batch的数据重新组装2.3 pin_memory=True:提高数据从cpu到gpu传输效率三、DataLoader的并行3.1 index_queue 要处理的数据下标3.2 worker_result_queue 返回结果参考文献一、pytorch数据输入Dataset转载 2021-07-08 15:17:21 · 4454 阅读 · 0 评论 -
【Pytorch】torchtext的简单使用
guofei_fly 2020-02-04 14:32:45 1316 收藏 4分类专栏: Pytorch版权自然语言处理的数据预处理过程主要包括如下步骤:(1)文本数据集的划分(训练集、验证集和测试集);(2)文本数据的导入;(3)分词;(4)词汇表的构建;(5)文本数据对于词汇表的编码和映射;(6)词向量的生成;(7)批文本数据的生成。torchtext是一个高效、有力的文本预处理库(其对NLP的作用类似于torchvision之于CV),提供了涵盖上述诸步骤的一站式文本...转载 2021-07-07 17:22:34 · 434 阅读 · 0 评论 -
DataLoader 和 Dataset
构建模型的基本方法,我们了解了。接下来,我们就要弄明白怎么对数据进行预处理,然后加载数据,我们以前手动加载数据的方式,在数据量小的时候,并没有太大问题,但是到了大数据量,我们需要使用 shuffle, 分割成mini-batch 等操作的时候,我们可以使用PyTorch的API快速地完成这些操作。Dataset是一个包装类,用来将数据包装为Dataset类,然后传入DataLoader中,我们再使用DataLoader这个类来更加快捷的对数据进行操作。DataLoader是一个比较重要的类,它为.转载 2021-07-07 17:16:47 · 539 阅读 · 0 评论 -
torch.stack()的使用
Teeyohuang 2018-05-18 12:56:30 85830 收藏 151分类专栏: pytorch版权废话不多说直接上图如图有a, b, c 三个 3x3的Tensor,如果我想把这三个tensor的最后一个维度的元素相叠加,形成一个新的tensor输入 d=torch.stack( (a,b,c) ,dim = 2)就会发现他们在第二个维度像叠加,具体来说变化如下图所示d[0][0]的位置是由a[0][0] 的 [1] , b[0][0] 的 [1...转载 2021-07-07 11:28:21 · 259 阅读 · 0 评论 -
pytorch学习笔记(十九):torchtext
pytorch学习笔记(十九):torchtextke1th 2018-02-11 13:47:04 42430 收藏 113分类专栏: NLP pytorch deeplearning pytorch学习笔记版权文章部分翻译自 http://anie.me/On-Torchtext/API一览torchtext.datatorchtext.data.Example : 用来表示一个样本,数据+标签torchtext.vocab.Vocab: 词汇表相关torchtext.da..转载 2021-07-07 10:57:58 · 482 阅读 · 0 评论 -
Torchtext使用教程
主要内容:如何使用torchtext建立语料库 如何使用torchtext将词转下标,下标转词,词转词向量 如何建立相应的迭代器torchtext预处理流程:定义Field:声明如何处理数据 定义Dataset:得到数据集,此时数据集里每一个样本是一个 经过 Field声明的预处理 预处理后的 wordlist 建立vocab:在这一步建立词汇表,词向量(word embeddings) 构造迭代器:构造迭代器,用来分批次训练模型1. 下载数据:kaggle:Movie Rev..转载 2021-07-07 10:54:32 · 798 阅读 · 0 评论