DL论文阅读笔记
文章平均质量分 95
整理阅读的论文
请多关赵
记录学习
展开
-
Transformer-XL论文笔记
会议: ACL 2019论文地址Transformer相关知识Transformer一、研究动机transformer对于输入序列需要设置一个固定的长度,比如在BERT中,默认长度是512。如果文本序列长度短于固定长度,可以通过填充的方式来解决,如果序列长度超过固定长度,一般是将文本划分为多个segments进行单独处理,以Transformer为主的语言模型不能很好地处理超过预定义长度的文本,即模型不能捕获任何超过预定义上下文长度的长期依赖二、研究方法本文提出了一种新的神经体系结构Tra原创 2022-01-23 11:13:07 · 1420 阅读 · 1 评论 -
GAN论文阅读笔记
Generative Adversarial Nets论文链接摘要我们提出了一个通过对抗过程来估计生成模型的新框架,在这个框架中,我们同时训练两个模型:捕获数据分布的生成模型G,以及估计样本来自训练数据的概率的判别模型D。G训练过程是为了使D犯错误的可能性最大化。这个框架对应于一个极大化极小化的双人博弈。在任意函数G和D的空间中存在一个唯一的解,其中G恢复训练数据分布,D处处都等于1/2。在G和D由多层感知器定义的情况下,整个系统可以用反向传播进行训练。在样本的训练和生成过程中,不需要任何马尔可夫链或原创 2022-03-08 19:12:48 · 4141 阅读 · 0 评论