BertTokenizer详解

词界_AI

已于 2024-04-16 08:27:23 修改

阅读量413

点赞数 1

文章标签： pytorch 深度学习

于 2024-04-16 08:26:20 首次发布

本文链接：https://blog.csdn.net/tdzhqxy/article/details/137807053

版权

文章目录

import numpy as np
# 指定bert预训练模型文件夹路径
bert_path='your_bert_model_path'
#加载BertTokenizer
tokenizer = BertTokenizer.from_pretrained(bert_path)

'''
方式一，直接使用tokenizer进行序列化

'''
out_puts= tokenizer(['我','爱我'], ['的祖国','这是一种'], padding='max_length', return_tensors="pt", max_length=6)
'''
{
	'input_ids':       tensor([[ 101, 2769,  102, 4638, 4862, 1744,  102,    0,    0,    0],
        			           [ 101, 4263, 2769,  102, 6821, 3221,  671, 4905,  102,    0]]),         
     'token_type_ids': tensor([[0, 0, 0, 1, 1, 1, 1, 0, 0, 0],
        					   [0, 0, 0, 0, 1, 1, 1, 1, 1, 0]]), 
     'attention_mask': tensor([[1, 1, 1, 1, 1, 1, 1, 0, 0, 0],
        					   [1, 1, 1, 1, 1, 1, 1, 1, 1, 0]])}
'''
print(out_puts.input_ids)


#方式二，使用encode进行序列化