tokenizer.tokenize() :
使用 tokenize() 函数对文本进行 tokenization之后,返回的分词的 token 词
tokenizer.encoder():
encode() 函数对 文本 进行 tokenization 并将 token 用相应的 token id 表示
tokenizer.tokenize() :
使用 tokenize() 函数对文本进行 tokenization之后,返回的分词的 token 词
tokenizer.encoder():
encode() 函数对 文本 进行 tokenization 并将 token 用相应的 token id 表示