pytorch中bert字向量和句向量生成

最新推荐文章于 2024-03-10 19:40:02 发布

有梦想的鱼

最新推荐文章于 2024-03-10 19:40:02 发布

阅读量670

点赞数

分类专栏： pytorch 文章标签： pytorch bert 深度学习

本文链接：https://blog.csdn.net/qq_38148600/article/details/126974452

版权

pytorch 专栏收录该内容

27 篇文章 1 订阅

订阅专栏

from transformers import BertModel, BertTokenizer
bert = BertModel.from_pretrained("D:\\研究生\\gts\\gts1-main\\code\\BertModel\\pretrained\\c\\bert-base-uncased")
tokenizer = BertTokenizer.from_pretrained("D:\\研究生\\gts\\gts1-main\\code\\BertModel\\pretrained\\c\\bert-base-uncased\\bert-base-uncased-vocab.txt")
test_sentence = "我在测试bert"
# 指定返回的数据是pytorch中的tensor数据类型
tokens = tokenizer.encode_plus(text=test_sentence, return_tensors='pt')
model_out = bert(**tokens)
print(model_out[-1])#句向量

print(model_out[0])#所有字向量

print(tokens)#token的结果