其中,tokenizer.encode()和先tokenize然后加cls,sep最后conert_tokens_to_ids起到的作用是完全一样的,代码复杂度降低
关于bert的数据预处理问题简化
最新推荐文章于 2024-01-05 01:25:38 发布
其中,tokenizer.encode()和先tokenize然后加cls,sep最后conert_tokens_to_ids起到的作用是完全一样的,代码复杂度降低