深度学习
文章平均质量分 92
记录深度学习的各种笔记
寻找微光的鱼
这个作者很懒,什么都没留下…
展开
-
论文笔记——Attention Is All You Need(Transformer)
文章目录动机模型总结之前看了Google发表的Transformer的相关论文,虽然距离论文发表已经过去了三年,但是Transformer的效果仍然没有被超越。为了让自己之后能够迅速回忆起Transformer的相关内容,所以记录了这篇论文笔记记录一下自己阅读论文的笔记。动机在Transformer提出之前,正常情况下都是使用RNN模型来处理机器翻译任务。使用RNN来做机器翻译任务存在两个缺点:(1)由于输入的sequence长度很长,所以对于当前词来说对其影响最大的是邻近的词。但是一个句子中对一个原创 2020-10-26 17:00:17 · 224 阅读 · 0 评论 -
NewsRecommendation
文章目录简介问题定义背景Problem Definition评价指标数据集已有的模型简介NewsRecommendation是Recommendation的一个子领域,但是新闻推荐系统不同于其他的推荐系统,还需要对新闻文本进行处理,之前NewsRecommendation这个领域没什么进展是因为缺乏相关的数据集,Microsoft最近刚刚开源了MIND数据集,可以使用MIND数据集来研究新闻推荐系统的相关模型算法***关于MIND数据集的介绍可以参考这篇paper:MIND: A Large-scal原创 2020-09-06 19:19:23 · 2143 阅读 · 5 评论