Token indices sequence length is longer than the specified maximum sequence length for this model

已于 2025-03-22 12:20:18 修改
阅读量382 收藏 5
点赞数 3
文章标签： 自然语言处理 人工智能 bert
于 2025-03-21 15:23:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_74134898/article/details/146421449
版权

 Bert模型token长度最长为512，在使用Bert模型训练过程中我们可能会遇到token长度超过512的情况并警告：Token indices sequence length is longer than the specified maximum sequence length for this model（643>512）。为此该如何解决呢？下面转载两篇文章希望对大家有所帮助。

超长文本训练 - clearwind在自然语言处理（NLP）任务中，处理超长文本（通常指长度超过模型最大支持长度的文本）是一个常见的挑战。BERT等预训练模型通常具有固定的最大序列长度限制（例如，BERT-base的最大序列长度为512个标记）。当需要处理超过这个长度的文本时，需要采取特定的策略来确保模型能够有效地处理这些数据。 Behttp://zxse.cn/archives/1735886207197除此之外，还有简单暴力的截断法，（head截断、tail截断、head+tail截断）：

实战中，BERT如何处理篇章级长文本？_bert中截断操作-CSDN博客文章浏览阅读1.9k次，点赞3次，收藏4次。如果考虑性能、只能使用一个Pooling的话，就使用Max-Pooling，因为捕获的特征很稀疏、Max-Pooling会保留突出的特征，Mean-Pooling会将特征打平。通过统计，该任务与主题相关的句子，不到总字数的60%，40%的时间都是在浪费在这些"糟粕"上，同时这些冗余文本也会带来一些噪声，不利于模型的学习。压缩法的宗旨是选取“精华”，去除“糟粕”。_bert中截断操作 https://blog.csdn.net/weixin_43815222/article/details/136204450

初尧南念
关注
Qwen2-57B-A14B预训练
强化学习曾小健
07-15 2271
Qwen2-57B-A14B作为一个强大的MoE模型,在保持较小激活参数规模的同时,实现了优秀的性能表现,为大规模语言模型的应用提供了新的可能性。任务中表现优异,超越了当前主流的MoE开源模型。SwiGLU激活函数。
GPT2从放弃到入门(二)
日积月累，天道酬勤
03-21 1447
本文介绍如何利用GPT2从零训练一个多轮对话聊天机器人，按照本文的思路可以轻松地训练自己的数据。
[nlp] Token indices sequence length is longer than the specified maximum sequence length for this
心宝的博客
03-14 3553
【代码】[linux] Token indices sequence length is longer than the specified maximum sequence length for this。
测试Token indices is longer than the maximum sequence length for this model (3013602 ＞ 131072)
阿正的梦工坊
12-29 2443
序列长度就是输入文本经过 tokenization 处理后的 token 数量，具体的长度由文本的长度、tokenization 方法、模型架构等因素决定
【部署glm4&长上下文能力推理测试】【已解决】cuda断言错误、token超限制排查思路
波点兔的博客
11-07 1508
glm4已经部署成功，在输入token较短的情况进行简单测试的情况下，可以成功得到大模型回答；但需要利用glm4的。
NLP-文本摘要：利用预训练模型进行文本摘要任务【transformers：pipeline、T5、BART、Pegasus】
u013250861的博客
02-17 5041
一、pipeline 可以使用pipeline快速实现文本摘要 from transformers import pipeline summarizer = pipeline(task="summarization", model='t5-small') text = """ summarize: (CNN)For the second time during his papacy, Pope Francis has announced a new group of bishops an
如何使用hadoop进行Bert tokenize
yangdelu855的博客
07-02 1713
任务是统计bert tokenize的后的word count 需要代码mapper，reducer，Shell脚本 首先是实现Bert tokenizer 通过sys.stdin 读取文件，将结果直接输出 # coding=utf-8 # Copyright 2018 The Google AI Language Team Authors and The HuggingFace Inc. team. # # Licensed under the Apache License, Version ..
Datawhale AI夏令营-多模态大模型数据合成Task1 学习笔记
IshmaelChen的博客
08-13 805
由于云终端的限制，shell的信息到了一定程度后会自动清理，因此两个shell脚本一定是要时刻关注的！同时，由于研究download.sh时没有注意到第一行对于环境变量的设定，导致我误下了一整份官方数据集到工作区 /mnt/workspace之外了，希望阿里云会自己清理掉。最后统计，100G的存储空间我一共花了98G，要想训练顺利，必须要扩容了。同时为了确保所有人最基础的命令不会缺失，索性在创建虚拟环境并进入后将所有需要的工具命令一并输入。apt update。
Transformer课程 第7课Gavin BERT文本分类-数据预处理
段智华的博客
12-06 1293
Transformer课程 第7课Gavin BERT文本分类-数据预处理 Comment Length Distribution 为了决定这个数据集的截断策略，让我们首先看看评论长度的分布。为此，我们的第一步是标记训练集中的所有评论。 标记所有评论，tokenizer.encode函数为我们组合了多个步骤： 把句子切分成标记。 添加特殊的[CLS]和[SEP]标记。 将令牌映射到它们的ID。 为了探索评论长度的分布，我们在这里不执行任何截断，这会导致标记器对每个长度超过512个标记的评论发
【ChatGPT】ChatGPT使用指南——文本生成
AI天才研究院
05-18 2万+
文本摘要任务指的是用精炼的文本来概括整篇文章的大意，使得用户能够通过阅读摘要来大致了解文章的主要内容。抽取式摘要：从原文档中提取现成的句子作为摘要句。压缩式摘要：对原文档的冗余信息进行过滤，压缩文本作为摘要。生成式摘要：基于NLG技术，根据源文档内容，由算法模型自己生成自然语言描述。以下是一个基于mT5模型（T5模型的多语言版）的文本摘要样例。下载模型较大，可前往huggingface->Hosted inference API 在线测试。In [37]:import re# 载入模型。
Transformers包tokenizer.encode()方法源码阅读笔记
天才小呵呵的博客
04-10 3万+
1 引言 Hugging Face公司出的transformer包，能够超级方便的引入预训练模型，BERT、ALBERT、GPT2… tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertForTokenClassification.from_pretrained('bert-bas...
深入解析FLAN-T5 small模型：常见错误及解决方法
gitblog_02223的博客
12-30 931
深入解析FLAN-T5 small模型：常见错误及解决方法 flan-t5-small 项目地址: https://gitcode.com/mirrors/google/flan-t5-small ...
模型量化之AWQ和GPTQ
qiaotl的博客
12-26 9976
通过实际代码例子介绍如何进行模型量化
Coursera 吴恩达 DeepLearning Sequence model 第二周作业 Emojify - v2（多分类问题，有彩蛋，性能超过预期）
Li Kang 笔记本
04-08 2740
自动表情符号 在这个练习中，首先要完成基准模型Emojifier-V1，仅仅使用word embeddings，通过输入的句子输出一个表情符号。这个模型无法识别单词的顺序和复杂的句子结构。然后将会结合LSTM来建立一个更加复杂的模型Emojifier-V2. 第一部分的总结 即使只有127个training examples，我们仍然能够得到一个相当好的模型。这得益于word vect...
谷歌BERT预训练源码解析（二）：模型构建
weixin_39470744的博客
11-23 1万+
前言 BERT的模型主要是基于Transformer架构（论文：Attention is all you need）。它抛开了RNN等固有模式，直接用注意力机制处理Seq2Seq问题，体现了大道至简的思想。网上对此模型解析的资料有很多，但大都千篇一律。这里推荐知乎的一篇《Attention is all you need》解读，我觉得这篇把transformer介绍的非常好。 由于模型最闹心的就是...
12C ORA-错误汇总19
热门推荐
badman250的专栏
03-02 4万+
KUP-00552: internal XAD package failed to load Cause: An error was encountered while attempting to initialize the XAD package. Action: This message should be accompanied by other error message(s) in
``` def _truncate_seq_pair(tokens_a, tokens_b, max_length): """Truncates a sequence pair in place to the maximum length.""" # This is a simple heuristic which will always truncate the longer sequence # one token at a time. This makes more sense than truncating an equal percent # of tokens from each, since if one sequence is very short then each token # that's truncated likely contains more information than a longer sequence. while True: total_length = len(tokens_a) + len(tokens_b) if total_length <= max_length: break if len(tokens_a) > len(tokens_b): tokens_a.pop() else: tokens_b.pop()```解释代码
最新发布
03-09
这段代码定义了一个名为 `_truncate_seq_pair` 的函数，用于将两个句子（或文本序列） `tokens_a` 和 `tokens_b` 截断到指定的最大长度 `max_length` 内。这个过程是通过逐步移除较长的那个句子中的最后一个单词来进行的，直到总长度满足要求为止。下面是详细的解释： ### 代码逐行解析 ```python def _truncate_seq_pair(tokens_a, tokens_b, max_length): """Truncates a sequence pair in place to the maximum length.""" ``` - 定义一个名为 `_truncate_seq_pair` 的函数，接收三个参数： - `tokens_a`: 第一句的分词结果列表。 - `tokens_b`: 第二句的分词结果列表。 - `max_length`: 允许的最大总长度。 --- ```python while True: total_length = len(tokens_a) + len(tokens_b) if total_length <= max_length: break ``` - 使用无限循环 `while True:` 来不断尝试减少序列的总长度。 - 计算两段序列的当前总长度 `total_length` 并判断是否已经小于等于 `max_length`。 - 若条件成立，则跳出循环；否则继续执行后续步骤以进一步削减长度。 --- ```python if len(tokens_a) > len(tokens_b): tokens_a.pop() else: tokens_b.pop() ``` - 比较两者的长度，选择更长的那一方从末端删除一个词语（即调用 `.pop()` 方法去掉最后的一个元素）。这里采用的是简单的启发式规则：优先缩短较长的部分。 这样做的理由是因为较短序列的信息密度通常更高，每一个词汇都可能是关键性的表达；而较长的序列相对来说单位信息含量较低，适当去除一些末尾的内容影响较小。 ### 关键点总结 1. **原地修改**：该函数直接对传入的 `tokens_a` 和 `tokens_b` 列表进行了操作，并未返回新的对象。这意味着外部可以直接获取经过处理后的最新版本。 2. **简单启发法**：当需要裁剪时总是先动更长那部分的原则是比较直观且容易实现的一种方案，不过它并不是唯一解也不是最优解。对于某些特定应用场合可能还需要设计更为复杂的平衡机制。 ### 应用背景 此函数常出现在自然语言处理任务中特别是涉及到像BERT这样的双输入模型架构里，在构建样本时为了保持一致性以及防止超出模型支持的最大序列长度，就需要确保所有输入都在规定范围内。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值