原文提醒如下:
Be aware, overflowing tokens are not returned for the setting you have chosen, i.e. sequence pairs with the 'longest_first' truncation strategy. So the returned list will always be empty even if some tokens have been removed.
出现场景:
encode_tokens = tokenizer.encode_plus(
text="1 1 1 1 1",
text_pair="2 2 2",
padding='max_length',
max_length=10,
truncation=True
)
上面的两个文本段含有8个单词(5个1,3个2),加上1个CLS、2个SEP,一共切分出11个token,大于最大长度10,会被截断,所以提醒你。
解决方案:
1、你把上面的例子改成7个单词,不会截断,不会提醒。
2、其他博客提到加上下面一句话:
import transformers
transformers.logging.set_verbosity_error()
相当于改变报错级别。
mark一下,如有错误欢迎指正。