TypeError TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]]

已于 2023-11-19 20:37:39 修改
阅读量483 收藏
点赞数
分类专栏： error合集 文章标签： pytorch
于 2023-11-19 20:37:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Akun_2217/article/details/134495141
版权
TypeError: TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]]

使用AutoTokenizer.encode方法，单独句子不能放在列表或者元组中传入。。输入只有一条句子的列表，会出现这种错误：

tokens = tokenizer.encode(['窗前明月光'])
print(tokens) # 报错

AutoTokenizer.encode的输入有三种：单独句子，列表多个句子，元组多个句子

tokens = tokenizer.encode('床前明月光')
tokens = tokenizer.encode(['床前明月光'， '疑是地上霜'])
tokens = tokenizer.encode(('床前明月光', '疑是地上霜'))
wenjurongyu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TypeError: TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]]
Talk Is Cheap
06-15 525
huggingface/transformers 的 tokenizer 报的错，报错原因，数据里有None值。
Debug记录：TypeError: TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequen
gz927cool的博客
06-11 670
如何批量编码数据。encode方法仅针对单条数据虽然存在decode方法对应的batch_decode方法，但是，并不存在与encode对应的batch_decode方法
用于适配低版本transformers的tokenizer
09-05
解决问题： TypeError: TextEncodeInput must be Union[TextInputSequence,Tupele[InputSequence, InputSequence]] 使用方法： pip install transformers_old_tokenizer-3.1.0-py3-none-any.whl from transformers_old_tokenizer import AutoTokenizer
Transformers 4.37 中文文档（五十三）
最新发布
龙哥盟
06-23 1081
Qwen2 是 Qwen 团队推出的大型语言模型新系列。之前，我们发布了 Qwen 系列，包括 Qwen-72B、Qwen-1.8B、Qwen-VL、Qwen-Audio 等。检索增强生成（“RAG”）模型结合了预训练的密集检索（DPR）和序列到序列模型的能力。RAG 模型检索文档，将其传递给 seq2seq 模型，然后进行边缘化以生成输出。检索器和 seq2seq 模块是从预训练模型初始化的，并进行联合微调，使得检索和生成都能够适应下游任务。
成功解决TypeError： TextEncodeInput must be Union[TextInputSequence， Tuple[InputSequence， InputSequence]]
qq_43588670的博客
11-13 2900
控制台报错：TypeError： TextEncodeInput must be Union[TextInputSequence， Tuple[InputSequence， InputSequence]]对超过最大长度的文本进行截断：如果你不希望增加tokenizer的最大长度，你可以使用参数来将文本截断为最大长度。这样，超过最大长度的部分将被截断掉。解决办法： 调整tokenizer的最大长度：你可以通过将参数设置为更大的值，以适应较长的文本。2.数据集中存在空行，检查数据集是否含有空行。
TypeError: TextEncodeInput must be Union[TextInputSequence,Tupele[InputSequence, InputSequence]]
weixin_44826203的博客
09-05 4937
TypeError: TextEncodeInput must be Union[TextInputSequence,Tupele[InputSequence, InputSequence]]
解决Python中报错TypeError: must be str, not bytes问题
09-17
### 解决Python中报错TypeError: must be str, not bytes问题 #### 一、问题背景与常见场景 在Python编程过程中，尤其是处理文件操作时，可能会遇到“TypeError: must be str, not bytes”这一错误。这通常发生在...
Python BeautifulSoup [解决方法] TypeError: list indices must be integers or slices, not str
09-18
总结起来，遇到`TypeError: list indices must be integers or slices, not str`时，首先要检查你是否在尝试访问一个列表或ResultSet，如果是，请确保使用正确的索引来访问其中的元素。同时，了解并熟练掌握...
【BERTTokenize】TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]]
qq_72632426的博客
12-11 3177
TextEncodeInput must be Union[TextInputSequence, Tuple[InputSequence, InputSequence]]问题解决；BertTokenizer和AutoTokenizer的区别。
【2023.2.17】解决基于huggingface中tokenizer私有数据不成功问题
qq_41693168的博客
02-17 1177
简单回顾一下今日：想用longformer处理长文本分类问题，从昨天开始温习huggingface一些简单的调用方法，手里的数据是私有的csv文件。1. 清洗2. 分词（token）3. 字符映射实际的特征向量4. 模型（预训练：BERT, GPT）微调。
python---异常汇总
zhouwenyuan1015的博客
10-29 453
python 与 torch 异常问题与解决方案汇总
NLP 工作中bug记录
NLP与推荐算法
01-09 695
bug记录-自然语言处理
transformers PreTrainedTokenizer类
weixin_49346755的博客
06-23 1925
PreTrainedTokenizer类是所有分词器类Tokenizer的基类，该类不能被实例化，所有的分词器类（比如BertTokenizer、DebertaTokenizer等）都继承自PreTrainedTokenizer类，并实现了基类的方法。 该函数返回一个BatchEncoding，该类继承自python字典类型，可以像使用字典一样使用BatchEncoding。除此之外，该类还有一些将单词、字符转换成分词的方法。下面以BertTokenizer为例，说明一下各个参数的含义。参数text表示要编
nlp：T5
专心致志写BUG的博客
08-19 1379
import argparse import glob import os import json import time import logging import random import re from itertools import chain from string import punctuation import nltk nltk.download('punkt') from nltk.tokenize import sent_tokenize import pandas as p.
transformers的分词工具BertTokenizer encode_plus参数
Diobld的博客
03-18 5130
from transformers import BertTokenizer #uncased是不支持小写 tokenizer = BertTokenizer.from_pretrained('bert-base-uncased', do_lower_case=True) encoded_dict = tokenizer.encode_plus( sent, # Sentence to encode. .
TypeError: argument list must be a tuple
05-10
这个错误通常发生在函数调用时，参数传递的方式不正确，应该使用元组传递参数，而不是用其他方式，比如列表、字典等等。需要检查一下传递参数的方式是否正确。 例如，下面的代码就会出现这个错误： ``` def my_func(arg1, arg2): print(arg1 + arg2) args = [1, 2] my_func(args) ``` 正确的写法是将参数封装成元组或者使用 *args 参数表示接受任意数量的参数： ``` def my_func(arg1, arg2): print(arg1 + arg2) args = (1, 2) my_func(*args) ``` 或者： ``` def my_func(*args): print(sum(args)) args = [1, 2] my_func(*args) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值