也就是说AutoTokenizer是又一层的封装,避免了自己写attention_mask以及token_type_ids
transformers的AutoTokenizer和BertTokenizer
最新推荐文章于 2024-07-01 01:15:35 发布
也就是说AutoTokenizer是又一层的封装,避免了自己写attention_mask以及token_type_ids