BERT求古诗文本相似度

7frog7

已于 2022-02-08 12:36:05 修改

阅读量1.2k

点赞数

分类专栏： nlp projects 文章标签： bert 自然语言处理 transformer

于 2022-02-08 11:58:19 首次发布

本文链接：https://blog.csdn.net/weixin_45817880/article/details/122821129

版权

本文探讨了使用BERT-CCPoem模型处理中文古诗词时遇到的问题，如处理不同长度诗句的向量化处理和计算余弦相似度时的梯度问题。作者通过实例展示了如何通过填充零和平均池化进行解决，并分享了初步的情感分析结果并不理想。

摘要由CSDN通过智能技术生成

大概学了原理，简单实践一下发现了一些问题：
1.对于不同长度的诗句可能要用0来补齐向量长度
2.直接用两个句子的last_hidden_state向量计算余弦相似度时会报梯度相关的错误不能计算。不很懂为什么。
用的是BERT-CCPoem 传送门
参考了传送门虽然不是中文的bert 但是基本的原理差不多，有些类型转换的细节要改一改

from transformers import BertModel,BertTokenizer
import torch
import numpy
from  sklearn.metrics.pairwise import cosine_similarity
tokenizer = BertTokenizer.from_pretrained('C:\\Users\\1323231\\Desktop\\BERT_CCPoem_v1')
model = BertModel.from_pretrained('C:\\Users\\1323231\\Desktop\\BERT_CCPoem_v1')
sentences = ["折断绿杨枝","无令长相忆"