2021-10-13
transformers库问题记录
欢迎使用Markdown编辑器
你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。
tokenize()和tokenizer()方法的区别
tokenize()
from transformers import BertTokenizer, BertModel
model_name = "bert-base-chinese"
tokenizer
原创
2021-10-14 09:24:02 ·
87 阅读 ·
0 评论