tokenizer优化
使用BertTokenizerFast提速
使用 BertTokenizerFast 取代 BertTokenizer
BertTokenizerFast是基于Rust语言开发的版本,性能提高10倍(官方宣传和实测结果一致)
from transformers import BertTokenizerFast
tokenizer高效使用
使用transformers的padding和truncation模式,可以大大节省我们的截断和补齐的预处理代码。
padding模式
from transformers.file_utils import PaddingStrategy
如果文本长度支持弹性输入/动态长度
padding=PaddingStrategy.LONGEST
如果文本长度固定,需要补齐到模型的最大长度
padding=PaddingStrategy.MAX_LENGTH
truncation模式
from transformers.tokenization_utils_base import TruncationStrategy
默认使用这种即可
truncation=TruncationStrategy.LONGEST_FIRST
使用示例:
单句模式
例如sbert,分类模型等
encoded_input = tokenizer(texts, padding=padding, truncation=truncation, max_length=model_max_len) #, return_tensors='np'
双句模式
例如排序模型等
第一句统一放入texts的list中
第二句统一放入text_pair的list中
tokenizer会自动解决2句的拼接处理,这样可以极大的节省预处理代码。
encoded_input = tokenizer(text=texts, text_pair=text_pairs, padding=padding, truncation=truncation, max_length=model_max_len) #, return_tensors='np'
其他
query = query.strip("?").strip("。").strip("、").strip("!").strip(",")
优化为
query = query.strip("?。、!,")