【NLP学习笔记】transformers中的tokenizer切词时是否返回token_type_ids

最新推荐文章于 2024-08-02 22:13:37 发布
最新推荐文章于 2024-08-02 22:13:37 发布
阅读量458 收藏 4
点赞数 1
文章标签： 自然语言处理 学习 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42961603/article/details/140318339
版权

结论

先说结论：
是否返回token_type_ids，可以在切词时通过 return_token_type_ids=True/False指定，指定了True就肯定会返回，指定False，不一定就不返回。

分析

  • Doc地址
    https://huggingface.co/docs/transformers/main/en/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.call
    在这里插入图片描述

  • 源码分析
    在这里插入图片描述
    由上图可以，transformers的tokenization_utils_base.py明确指出，是否返回由return_token_type_ids和self.model_input_names两个属性控制
    在这里插入图片描述
    同时可见，如果return_token_type_ids是False，那么会判断model_input_names里有没有token_type_ids；model_input_names顾名思义，就是当前的模型需要哪些输入。
    在这里插入图片描述
    默认值是有token_type_ids的，所以即使不指定，像Bert的tokenizer，切词时没有指定return_token_type_ids，并且transformers的Bert的切词源码里也没指定model_input_names相关，但是依旧可以返回token_type_ids；
    在这里插入图片描述
    但是像GPT2的切词源码里，继承时重载了model_input_names这个变量，没有指定token_type_ids，所以默认情况下GPT2的切词方式是不返回token_type_ids的

Go 鹏ya
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于transformers的自然语言处理(NLP)入门
10-22
【自然语言处理与Transformers入门】 自然语言处理（NLP）是人工智能领域的一个重要分支，主要涉及理解、生成和分析人类语言。近年来，基于Transformer架构的模型在NLP任务中取得了显著的成就，如BERT...
自然语言处理（NLP）和计算机视觉技术应用资源指南
07-12
### 自然语言处理（NLP）与计算机视觉技术应用资源指南 #### 自然语言处理（NLP） **1. Transformer架构** Transformer是一种革命性的深度学习架构，它改变了自然语言处理领域，尤其是对于处理序列数据非常有效。...
Transformers 库中的 Tokenizer 使用
wtfloser的博客
06-28 2万+
使用 Transformers 库的 Tokenizer 时发现的一些问题，并给出解决措施。
使用transformers增加token
诸神缄默不语的博客
08-22 2631
本文介绍如何在使用transformers包的过程中添加新的token
NLP-学习笔记（一）
m0_37928761的博客
01-17 939
NLP-学习笔记（一） 自然语言处理NLP的学习，不可能有一步登天的方法。博客用于记录自然语言处理的学习路程和知识点。 相信很多初学的同学，一开接触NLP，都会知道Transformers和BERT，性子比较急切的同学开始了死磕BERT源码，我一开始也是这样，从源码中获取知识，但是总是对网络的相关输入困惑，这篇学习笔记主要记录NLP数据输入处理的相关概念。 Model inputs Token Token的理解比较容易，是一串自然语言符号的最小语言单位（单词、词组、字符），将输入的一句话根据规定的最小语言单
input_Ids, attention_mask...
weixin_44219178的博客
12-17 1万+
input_Ids, attention_mask...
Pytorch Transformer Tokenizer常见输入输出实战详解
yosemite1998的博客
01-04 2万+
Tokenizer简介和工作流程 Transformers，以及基于BERT家族的预训练模型+微调模式已经成为NLP领域的标配。而作为文本数据预处理的主要方法-Tokenizer（分词器）则成为了必不可少的工具。本篇文章以Transformers中使用的AutoTokenizer为例说明其用法。但如果实际场景中使用BERT、ALBERT等预训练模型，原理类似，但需要使用模型相对应的Tokenizer，例如transformers.BertModel对应的Tokenizer是transformers.Ber
【学习总结】Python transformers AutoTokenizer encode 出现的 101 和 102_tokenizer 101(1)
2401_84689803的博客
05-03 269
token_ids_s2e 中多了 101 和 102101 代表 CLS，是文本的开头102 代表 SEP，是文本的分隔符。
Transformers包tokenizer.encode()方法源码阅读笔记
热门推荐
天才小呵呵的博客
04-10 3万+
1 引言 Hugging Face公司出的transformer包，能够超级方便的引入预训练模型，BERT、ALBERT、GPT2… tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertForTokenClassification.from_pretrained('bert-bas...
【Pytorch神经网络理论篇】 40 Transformers中的词表工具Tokenizer
小李的研究生学习日记
04-27 9414
1 Tokenizer 在Transformers库中，提供了一个通用的词表工具Tokenizer，该工具是用Rust编写的，其可以实现NLP任务中数据预处理环节的相关任务。 1.1 Tokenizer工具中的组件 在词表工具Tokenizer中，主要通过PreTrainedTokenizer类实现对外接口的使用。 1.1.1 Normaizer 对输入字符串进行规范化转换，如对文本进行小写转换、使用uni-code规范化。 1.1.2 PreTokenizer 对输入数据进行预处理，如基..
利用hugging face的Transformers实现命名实体识别
weixin_42223207的博客
04-02 2309
命名实体识别 命名实体识别(NER)是自然语言处理的基本任务之一，通常从文本中抽取出时间，地点，组织机构，人物等实体。目前大部分命名实体识别工作都是基于预训练模型上微调实现的。本博客是基于hugging face的Transformers实现的，框架采用的是tensorflow==2.4.0。 数据特征 利用transformers中的BertTokenizer构建数据特征，包括input_ids，token_type_ids，attention_mask。 def create_inputs_target
hf_examples：使用:hugging_face:库的NLP示例
03-04
Hugging Face是一个流行的开源平台，专注于自然语言处理（NLP）领域，提供了丰富的模型库、工具和API，使得开发者能够轻松地进行文本分析、机器翻译、问答系统、情感分析等任务。"hf_examples"是针对这个库的一系列...
毕业设计-Python实现基于BERT模型的中文文本情感分类项目源码+操作过程.zip文件
04-06
- 将tokenized文本转换为模型输入的形式，如input_ids、attention_mask等。 4. **构建模型**： - 在加载的BERT模型基础上添加一个分类层（通常是一个全连接层），用于情感分类。 - 定义模型的输入和输出。 5. *...
毕业设计：Python （bert）深度学习文本相似度检测系统设计（源码 + 数据库）
04-29
总结，本毕业设计通过Python和BERT模型构建的文本相似度检测系统，不仅展示了深度学习在自然语言处理中的强大功能，也为实际应用提供了有效的工具。通过深入理解并掌握BERT模型的原理和Python编程，我们可以更好地...
大语言模型时代的挑战与机遇：青年发展、教育变革与就业前景
kiiy2的博客
08-02 934
然而,随着人工智能技术的不断发展,尤其是大语言模型(Large Language Model,LLM)的兴起,语言处理领域正在发生革命性的变化。首先,大语言模型能够根据学生个体的特点和学习状况,自动生成合适的教学内容和材料,从而实现精准的知识传递。大语言模型汇聚了海量的人类知识,为青年人提供了一个前所未有的知识宝库,他们可以通过与大语言模型的互动来获取全新的见解和灵感,从而拓宽认知视野。唯有如此,我们才能充分把握人工智能发展所带来的红利,为青年一代的成长、教育的优化和就业市场的活力注入持久的动力。
大语言模型(LLM)快速理解
2401_85373396的博客
08-02 1119
从大语言模型字面意思来理解，“语言”和“模型”很好理解，就是代表着在自然语言处理上的AI模型。而这个大指的是神经网络很大，包括模型的参数数量、训练数据量、计算资源等。
论文翻译：Large Language Models in Education: Vision and Opportunities
最新发布
CSPhD-winston的博客
08-02 727
随着人工智能技术的快速发展，大型语言模型（LLMs）已成为研究热点。教育在人类社会发展和进步中扮演着重要角色。传统教育面临诸如学生个体差异、教学资源分配不足、教学效果评估等挑战。因此，LLMs在数字/智能教育领域的应用前景广阔。教育大型模型（EduLLMs）的研究不断发展，提供了实现个性化学习、智能辅导和教育评估目标的新方法和途径，从而提高教育质量和学习体验。本文旨在调查和总结LLMs在智能教育中的应用。首先介绍了LLMs的研究背景和动机，并解释了LLMs的本质。
用于仅摄像头闭环驾驶的视觉语言模型
真诚的灰灰的博客
08-02 860
在这份技术报告中，我们介绍了CarLLaVA，这是一个为CARLA自动驾驶挑战赛2.0开发的用于自动驾驶的。CarLLaVA使用了LLaVA VLM的视觉编码器和LLaMA架构作为骨干，，在的情况下，。此外，我们还展示了在预测驾驶输出的同时预测语言评论的初步结果。CarLLaVA，同时，利用路径优势实现更好的横向控制，利用航点优势实现更好的纵向控制。我们提出了一种，可以。在CARLA自动驾驶挑战赛2.0的传感器赛道上，CarLLaVA排名第一，。
tokenizer.convert_tokens_to_ids
06-28
### 回答1： tokenizer.convert_tokens_to_ids是一个函数，用于将token转换为对应的id。在自然语言处理中，我们通常将文本转换为token序列，然后再将token序列转换为对应的id序列，以便于模型的输入和处理。这个函数是在tokenization模块中定义的，常用于BERT等预训练模型的输入处理中。 ### 回答2： tokenizer.convert_tokens_to_ids是一个在自然语言处理中十分常用的函数，这个函数的作用是将文本序列中的每个单词或符号转换为其对应的ID号。具体来说，tokenizer.convert_tokens_to_ids函数将接受一个文本序列作为输入参数，然后返回一个列表，列表中的每个元素都是文本序列中对应单词或符号的ID号。 tokenizer.convert_tokens_to_ids函数通常用于将文本序列中的单词或符号转化为机器能够理解和处理的数字形式。在进行自然语言处理任务时，通常需要将文本序列表示成数字矩阵，并进一步输入到神经网络中进行训练和模型预测。因此，tokenizer.convert_tokens_to_ids被广泛应用于机器翻译、情感分析、文本分类、问答系统等自然语言处理任务中。 需要注意的是，tokenizer.convert_tokens_to_ids函数的使用需要先进行初始化。对于绝大部分的预训练模型，它们都提供了相应的tokenizer，我们需要先实例化tokenizer对象并将其预训练的词表加载进来，然后才能使用tokenizer.convert_tokens_to_ids函数将文本序列转化为数字矩阵。 总之，tokenizer.convert_tokens_to_ids是一个非常常用的自然语言处理函数，它能够将文本序列中的单词或符号转化为数字矩阵，并被广泛应用于自然语言处理任务中。 ### 回答3： tokenizer.convert_tokens_to_ids是transformers库中的一个方法，主要功能是将单词（token）列表转换为对应的ID编号列表。在NLP中，文本经常需要被转换为数值型数据才能输入到神经网络中进行训练或预测。因此，经常需要将文本进行tokenization（分词）并将单词映射到对应的ID编号。这个过程就是使用tokenizer.convert_tokens_to_ids方法可以实现的。 该方法所需参数为一个单词列表，该列表包含分词后的文本。它可以用来将句子（例如英文句子）转换为一个数字列表，将每个单词替换为对应的数字编号。这些数字可以表示单词在字典中的位置。例如，一个长度为N的句子可以转换为一个包含N个数字的列表。 具体来说，tokenizer.convert_tokens_to_ids方法将分词后的单词列表作为输入，返回一个包含与这些单词对应的ID编号的列表。注意，这里的ID是映射到所选tokenizer的词汇表的编号。 为了进一步了解这个方法的用法，我们可以通过以下示例进行说明： ```python from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') # 句子分词后的结果 text = "This is an example of text tokenization." tokens = tokenizer.tokenize(text) print(tokens) >>> ['this', 'is', 'an', 'example', 'of', 'text', 'token', '##ization', '.'] # 将分词后的结果转换为对应的ID ids = tokenizer.convert_tokens_to_ids(tokens) print(ids) >>> [2023, 2003, 2019, 2742, 1997, 3793, 19204, 20570, 1012] ``` 在上面的示例中，我们首先使用`BertTokenizer`进行分词处理，然后使用`convert_tokens_to_ids`将分词后的单词列表转换为对应的ID编号列表。该方法将`tokens`列表中的每个单词映射为与其对应的唯一ID编号。最终，我们可以得到一个包含所有单词ID编号的列表`ids`。通过这个方法，我们可以将文本转换为一个数字列表，使它可以输入到神经网络进行训练或其他操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值