学术
文章平均质量分 91
老板来碗小面加蛋~
计算机硕士在读
展开
-
爱思唯尔的KBS——模板、投稿、返修、接收的总结
投稿Knowledge-Based Systems(KBS)经验分享原创 2024-01-01 22:46:32 · 14585 阅读 · 116 评论 -
多头注意力机制及其pytorch实现
本文将对 Scaled Dot-Product Attention,Multi-head attention,Self-attention,Transformer等概念做一个简要介绍和区分。最后对通用的 Multi-head attention 进行代码实现和应用。 一、概念: 1. Scaled Dot-Product Attention 在实际应用中,经常会用到 Attention 机制,其中最...转载 2022-04-16 20:25:44 · 8204 阅读 · 1 评论 -
爱思唯尔的ESWA——模板、投稿、返修、接收的总结
投稿Expert Systems with Applications(ESWA)经验分享原创 2022-09-10 17:14:04 · 38773 阅读 · 499 评论 -
【注意力机制】多头注意力、自注意力、层归一化、位置嵌入
首先注意力模型可以宏观上理解为一个查询(query)到一系列(键key-值value)对的映射。将Source(源)中的构成元素想象成是由一系列的<Key,Value>数据对构成,此时给定Target(目标)中的某个元素Query(查询),通过计算Query和各个Key的相似性或者相关性,得到每个Key对应Value的权重系数,通过softmax归一化后,对权重和相应Value进行加权求和,即得到了最终的Attention数值。所以本质上Attention机制是对Source中元素的Valu.转载 2022-04-16 20:18:07 · 10844 阅读 · 0 评论 -
【DBpedia Spotlight】对知识图谱DBpedia进行实体链接/抽取文本实体
修改论文模型时需要对DBpedia进行实体链接,官方的DBpedia Spotlight就非常好用,特此记录。 Docker由于DBpedia Spotlight需要部署到服务器中,官方Github使用的是Docker,这里我们需要先下载。(注意不支持MacBook M1)一直点默认安装即可,不过安装完成后可能碰到WLS2不一致的问题,官方也给出了解决方法。按照里面说的去下载Ubuntu就行。在成功安装完Docker后,选择Images(镜像),可以从里面找到ubuntu。&n.原创 2022-04-16 11:17:35 · 2907 阅读 · 4 评论 -
【对话生成&Seq2Seq】Decoder中提高生成句子多样性的方法
一、问题背景 最近研究了seq2seq模型的相关优化算法,包括有其中的Attention、dropout、Scheduled Sampling和Teacher Forcing等优化、训练模型的方法。以下是传统seq2seq模型结构,没有进行任何优化,该模型分为两部分:编码器和解码器。 编码器读取输入文本,并返回代表该输入的向量。...转载 2022-03-28 19:43:11 · 455 阅读 · 0 评论