信息检索
XiangJiaoJun_
这个作者很懒,什么都没留下…
展开
-
NLP任务增强:通过引入外部知识库来提供额外信息
文章目录前言当推荐系统遇上知识图谱模型结构引入知识方法当文本匹配遇上知识图谱模型结构引入知识方法当预训练模型遇上知识图谱模型结构引入知识方法总结前言 NLP任务中,常见的做法是根据当前输入进行建模,进而设计出我们的模型,通常用到的信息只有当前局部的信息。这和人类最大的区别就是我们在理解语言的时候,我们会用到我们之前学习到的知识,比如说到“自然语言处理”,我们就可以联想到“文本匹配”、“阅读理解”、“BERT”等等,而我们会利用这些外部知识来加强自己的理解,如果没有用额外的知识,比如接触到我们一个不熟悉原创 2020-07-05 20:55:29 · 3251 阅读 · 0 评论 -
文本匹配开山之作-DSSM论文笔记及源码阅读(类似于sampled softmax训练方式思考)
文章目录前言DSSM框架简要介绍模型结构输入Encoder层相似度Score计算训练方式解读训练数据训练目标训练方式总结DSSM源码阅读训练数据中输入有负样本的情况输入数据合并正负样本与计算余弦相似度softmax操作与计算交叉熵损失使用一个batch中其他Doc构造负样本输入数据构造负样本并计算余弦相似度softmax操作与计算交叉熵损失总结前言基于表征(Representation)形式的文本匹配、信息检索、向量召回的方法总结(用于召回、或者粗排)在前面一篇文章中,我总结了Representa原创 2020-05-15 19:22:57 · 1488 阅读 · 0 评论