Pytorch
文章平均质量分 50
BQW_
吉林大学
北京大学
目前的兴趣:自然语言处理
展开
-
【Pytorch】张量复制方法repeat、repeat_interleave和tile
pytorch中的张量复制方法repeat、repeat_interleave、tile原创 2022-10-23 21:31:36 · 4130 阅读 · 0 评论 -
【Pytorch】【Transformers】一个基于transformers的自定义命名实体识别模型示例
本篇博客希望展示如何基于transformers提供的功能进行模型的开发,减少代码量,提高开发速度。import torchimport warningsimport torch.nn as nnfrom torch import Tensorfrom typing import List, Dictfrom dataclasses import dataclass, fieldfrom torch.nn.utils.rnn import pad_sequencefrom torch.ut原创 2021-07-03 21:30:48 · 3765 阅读 · 4 评论 -
【Pytorch】【进阶篇】Hook
import torchimport torch.nn as nnfrom torch.autograd import Variable一、hook种类pytorch中有三种hook,分别是:torch.autograd.Variable.register_hooktorch.nn.Module.register_forward_hooktorch.nn.Module.register_backward_hook其中,第一个register_hook是针对Variable,而后两个r原创 2021-04-11 22:15:00 · 440 阅读 · 0 评论 -
【Pytorch】【torchtext(三)】Dataset详解
一、概述定义Field对象是明确如何处理不同类型的数据。而具体处理哪里的数据集,对不同的列采用不同的Field进行处理则是由Dataset对象来完成的。torchtext的Dataset对象继承自pytorch的Dataset对象,该对象提供了下载压缩数据并解压这些数据的方法。TabularDataset是torchtext内置的Dataset子类,其能够很方便的读取csv、json或tsv格式的文件。二、使用TabluarDataset构建数据集from torchtext.data imp原创 2020-10-18 21:46:33 · 8930 阅读 · 4 评论 -
【Pytorch】【torchtext(二)】Field详解
from torchtext.data import Field,Example,Datasetfrom torchtext import vocabimport osimport nltk一、Field1. 参数说明squential:数据是否为序列数据,默认为Ture。如果为False,则不能使用分词。use_vocab:是否使用词典,默认为True。如果为False,那么输入的数据类型必须是数值类型(即使用vocab转换后的)。init_token:文本的其实字符,默认为None。原创 2020-10-18 21:38:24 · 16056 阅读 · 9 评论 -
【Pytorch】【torchtext(一)】概述与基本操作
一、概述1. torchtext中的主要组件torchtext主要包含的组件有:Field、Dataset和Iterator。1.1 FieldField是用于处理数据的对象,处理的过程通过参数指定,且通过Filed能够参数Example对象。下面是定义Field对象的例子,TEXT = data.Field(sequential=True, tokenize=tokenize, lower=True, fix_length=200)1.2 Dataset继承自pytorch的Dataset原创 2020-10-18 20:33:47 · 2294 阅读 · 4 评论