Python自然语言处理transformers工具包使用

1.安装transformers

pip install transformers

2.加载预训练词典和分词方法

from transformers import BertTokenizer

# 方式一：网络下载词典
tokenizer = BertTokenizer.from_pretrained(
    pretrained_model_name_or_path='bert-base-chinese',
    cache_dir=None,
    force_download=False,
)
# 方式二：本地加载
tokenizer = BertTokenizer.from_pretrained('./bert-base-chinese/BertTokenizer/vocab.txt')

# 获取字典的长度
dictionary = tokenizer.get_vocab()
len(dictionary)

3.句子编码

3.1句子编码

sents = [
    '自然语言处理',
    '第三方工具包',
    '开发的应用在青少年中颇受欢迎'
]
# 编码两个句子
out = tokenizer.encode(
    text = sents[0],
    text_pair = sents[1],
    # 当句子长度大于max_length时,截断
    truncation=True,
    # 一律补pad到max_length长度
    padding='max_length',
    add_special_tokens=True,
    max_length=30,
    return_tensors=None,
)
print(out)
tokenizer.decode(out)

3.2增强编码函数

out = tokenizer.encode_plus(
    text = sents[0],
    text_pair = sents[1],
    truncation = True,
    padding = 'max_length',
    max_length = 30,
    add_special_tokens = True,
    
    # 可取值tf,pt,np，默认为返回list
    return_tensors = None,
    # 返回token_type_ids
    return_token_typ