![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
文本匹配
Young Panda
初来乍到,请多多指教
展开
-
pytorch 余弦相似度矩阵cos_similar,批量运算
import torchfrom torch import Tensordef cos_similar(p: Tensor, q: Tensor): sim_matrix = p.matmul(q.transpose(-2, -1)) a = torch.norm(p, p=2, dim=-1) b = torch.norm(q, p=2, dim=-1) sim_matrix /= a.unsqueeze(-1) sim_matrix /= b.unsqu.原创 2021-03-13 20:52:27 · 3454 阅读 · 0 评论 -
pytoch常用
三角函数的位置编码(原始Transformer)def get_pos_embedding(seq_len, dim): import math vectors = [[.0 if i % 2 == 0 else 1. for i in range(dim)], [math.sin(1. / math.pow(10000., (i / dim))) if i % 2 == 0 else math.cos(1. / math.原创 2020-07-11 11:35:32 · 255 阅读 · 0 评论 -
文本匹配论文及pytorch版复现(一):DRCN
一、模型1、模型总图2、实施细则二、相关公式1、词表示层:字符卷积cp,静态预训练词嵌入ep(fix),可训练预训练词嵌入ep(tr)fp代表,两句中字是否在另一句中出现,若是为1,若否为02、层次RNN和互注意力机制原始输入x,通过RNN获取隐层表示h,将两句的隐层表示hi,hj通过互注意力机制,获取注意力表示ai,aj3、自动编码器auto-encoder全连接层,将高维度表示转化为低维度表示4、交互层和分类层More specifical原创 2020-05-08 22:08:34 · 1446 阅读 · 1 评论