1、Tokenizer
词表一致!
使用的tokenizer必须和对应的模型在预训练时的tokenizer保持一致。
可以直接指定模型的checkpoint的名字,然后自动下载对应词表。
使用方法:
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(XXX) # XXX为想要使用的模型
tokenizer()
的主要参数包括:
(1)text
:可以是单条的string,也可以是一个string的list,还可以是list的list;
(2)paddiing
:用于填补,padding=True 可以使得到的序列长度对齐;
(3)truncation
:用于截断,令truncation=True,序列将在max_length处截断;
(4)max_length
:设置最大句长;
(5)return_tensors
:设置返回数据类型,pt 为 pytorch,tf 为 tensorflow。
2、Model
方法同上:
from transformers import AutoModel
model = AutoModel.from_pretrained(XXX) # XXX为想要使用的模型
导入模型后,其接受tokenizer的输入,输出hidden states(即文本的向量表示),是一种上下文表示。
hidden states有三个维度:
(1)batch size
(2)sequence length
(3)hidden size