NLP-pytorch学习笔记

最新推荐文章于 2024-03-01 10:01:50 发布
最新推荐文章于 2024-03-01 10:01:50 发布
阅读量219 收藏
点赞数
分类专栏： nlp 文章标签： pytorch 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012409283/article/details/120305707
版权

padding设置

存在2种设置方式：

  • 采用attention_mask对padding处的token进行mask
  • 在nn.Embedding中设置padding_ids为pad_token_id, 此时，对应padding_ids的embedding vector 在训练时不会进行更新。

cross_entropy

ignore_index表示计算交叉熵时，自动忽略的标签值，默认为 -100

真炎破天
关注
专栏目录
【黑马程序员自然语言处理实战课程】学习笔记---pytorch基础知识和autograd
weixin_43444329的博客
12-07 5098
1.1什么是pytorch pytorch是一个基于Numpy的科学计算包，向他的使用者提供两大功能 作为numpy的替代者，向用户提供GPU强大功能的能力； 作为一款深度学习的平台，向用户提供最大的灵活性和速度 pytorch基本元素操作： tensor张量：类似于numpy中的ndarray数据结构，最大区别在于tensor可以利用GPU的加速功能。 需要先将torch引用进来 from __future__ import print_function import torch 1..
MAML-Pytorch代码阅读笔记
binger520886的博客
06-28 4938
正在更新中。。。。。。 参考博客： https://www.mutepad.com/2019/05/24/maml-%E8%AE%BA%E6%96%87%E5%8F%8A%E4%BB%A3%E7%A0%81%E9%98%85%E8%AF%BB%E7%AC%94%E8%AE%B0/ 代码：https://github.com/dragen1860/MAML-Pytorch MAML-pytorch： 首先看下网络结构： config = [(‘conv2d’, [32, 3, 3, 3, 1, 0]),(‘r
全面NLP教程（pytorch+tensorflow）
学习随笔
07-05 1394
github地址： https://github.com/graykode/nlp-tutorial 作者： Tae Hwan Jung(Jeff Jung) @graykode 在每一个模型中，都用了一种实例来表示实现该模型，比如句子分类、机器翻译等。每个案例都对应一篇论文 1. 基础词表示模型和具体案例 2.CNN和具体案例 3.RNN和具体案例 4....
GPT2-Chinese 文本生成,训练AI写小说,AI写小说2
绀目澄清
10-01 9609
在根目录（目录\GPT2-Chinese\）下建立文件夹data 和modeldatamodel。
基于 transformers 的 generate() 方法实现多样化文本生成：参数含义和算法原理解读
热门推荐
木尧大兄弟
07-25 5万+
本文解读一下 huggingface transformers 库的 generate() 函数中各个参数的含义，以及常用的 Greedy Search、Beam Search、Sampling（Temperature、Top-k、Top-p）等各个 decoding 算法的原理。
attention_mask，pad_token_id报错
最新发布
ph12345687的博客
03-01 5856
The attention mask and the pad token id were not set. As a consequence, you may observe unexpected behavior. Please pass your input's `attention_mask` to obtain reliable results.Setting `pad_token_id` to `eos_token_id`:151643 for open-end generation.
transformers DataCollatorForTokenClassification类
weixin_49346755的博客
07-11 1145
在进行NER（实体命名识别）任务时使用的数据收集器，该数据收集器不仅会动态的处理输入的数据，而且会处理数据的标签。参数tokenizer表示用于编码数据的分词器。参数padding表示填充方式，可以为布尔类型、字符串类型或者一个PaddingStrategy对象。当值为布尔类型时，True表示填充至最大序列长度，False表示不填充。当为字符串类型时，"longest"表示填充值最大序列长度，"max_length"表示填充值参数max_length设置的长度，"do_not_pad"表示不填充。参数max
d2l-pytorch-slides:自动生成的笔记本幻灯片
04-01
2. **深度学习模型**：这里会涉及常见的神经网络结构，如卷积神经网络（CNN）用于图像识别，循环神经网络（RNN）及其变种LSTM、GRU处理序列数据，以及Transformer在自然语言处理中的应用。 3. **优化算法**：讲解...
Dive-into-DL-PyTorch-master (2).zip
03-05
通过本书的学习，你可以学会如何利用PyTorch构建和训练各种类型的神经网络，如卷积神经网络（CNN）用于图像识别，循环神经网络（RNN）和门控循环单元（GRU）或长短期记忆网络（LSTM）用于自然语言处理，以及生成对抗...
BERT - PyTorch
weixin_51221144的博客
05-22 817
动手学深度学习笔记一、BERT1.BERT：把两个结合起来2.BERT的输入表示3.编码器4.预训练任务掩蔽语言模型下一句预测5.整合代码二、用于预训练BERT的数据集1.下载并读取数据集2.生成下一句预测任务的数据3.生成遮蔽语言模型任务的数据4.将文本转换为预训练数据集三、预训练BERT1.预训练2.用BERT表示文本 一、BERT 在word2vec和GloVe中，每个词都是由一个固定的预训练向量表示，而不考虑词的上下文。这些词嵌入模型都是与上下文无关的，无法解决一词多义或复杂语义的问题。 随后，E
【Pytorch】torchtext的简单使用
guofei_fly的博客
02-04 5320
自然语言处理的数据预处理过程主要包括如下步骤： （1）文本数据集的划分（训练集、验证集和测试集）； （2）文本数据的导入； （3）分词； （4）词汇表的构建； （5）文本数据对于词汇表的编码和映射； （6）词向量的生成； （7）批文本数据的生成。 torchtext是一个高效、有力的文本预处理库（其对NLP的作用类似于torchvision之于CV），提供了涵盖上述诸步骤的一站式文本预处理功能。其...
Pytorch学习笔记（四：Pytorchtext处理数据集）
jiangchao98的博客
03-09 2027
Pytorch学习笔记（四：Pytorchtext处理数据集）（未完） 需进一步更进 首先：讲解一下python语法中的lambda函数 使用lambda的语法是 后面紧跟的是参数 然后接冒号 然后紧跟函数返回值。 #匿名函数 s = "hello world" ans = (lambda x: x.split())(s) print(ans) ''' ['hello', 'world'] ''' #给匿名函数取名字、不再匿名 tokenize = lambda x: x.split()#将
torchtext使用教程（文本预处理、数据集封装）
weixin_43646592的博客
08-01 3365
 ????torchtext是一个用于文本预处理的库，使用起来也十分简便。  这是torchtext的github链接：https://github.com/pytorch/text 它主要包含了以下3大组件： ⭐Field对象：  指定要如何处理某个字段，比如指定分词方法，是否转成小写，起始字符，结束字符，补全字符以及词典等。 ⭐Dataset类：  用于加载数据，torchtext的Dataset是继承自pytorch的Dataset，提供了一个可以下载压缩数据并解压的方法（支持.zip, .gz, .
Beam Search介绍与代码梳理（transformer、tensor2tensor）
qq_41809534的博客
01-26 3566
最近在学transformer，tensor2tensor库中用了beam search（束搜索），了解了下束搜索的原理，但是实现中还是有很多细节问题需要梳理。
已解决：KeyError ‘attention_mask‘
T752462536的博客
04-01 3059
已解决：KeyError: ‘attention_mask’ 调用bert模型预训练时报错KeyError: ‘attention_mask’ 已知是transformers与tokenizers的版本号不匹配，导致attention_mask丢失 可使用 pip show 包查看对应版本号 Name: transformers Version: 2.8.0 Summary: State-of-the-art Natural Language Processing for TensorFlow 2.0 a
tokenId使用和原理
暖夏的博客
01-16 8802
什么是JWT Json web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（(RFC 7519).该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。JWT的声明一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息，以便于从资源服务器获取资源，也可以增加一些额外的其它业务逻辑所必须的声明信息，该token也可直...
十分钟读懂Beam Search(1/2)
hecongqing的博客
03-22 3615
最近研究了一下用基于BERT的encoder-decoder结构做文本生成任务，碰巧管老师昨天的文章也介绍了以生成任务见长的GPT模型，于是决定用两篇文...
tensorflow 制作mask lm数据
qq_34418352的博客
05-29 1621
采用一种简单的方式，截取每个样本前512个字符。随机mask一些词，其中80%被mask掉的词使用特殊符号代替，如[MASK]，10%使用随机词替代，10%使用原本的词替代。参考transformers开源代码，如下： def mask_tokens(self, inputs: torch.Tensor) -> Tuple[torch.Tensor, torch.Tensor]: labels = inputs.clone() # We sample a few tokens in
pack/pad_packed_sequence
NewDreamstyle的博客
06-29 1100
2019-06-29上午 cs224n assignment4 A 为什么要进行pack?!就是对pad_token的删除及填充操作，避免rnn计算不必要的pad-token 1,pack_padded_sequence（删去pad-token）-官网链接 1_a,具体形式 torch.nn.utils.rnn.pack_padded_sequence(input, lengths, batch_...
Linuxstm-forecast-笔记：PyTorch LSTM预测方法
PyTorch是一个开源的机器学习库，它广泛用于深度学习和自然语言处理领域。LSTM是一种特殊的循环神经网络（RNN），特别适合处理和预测时间序列数据中的重要事件之间存在长间隔和延迟的情况。 ### LSTM与PyTorch简介 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值