自然语言处理
文章平均质量分 94
Surpassall
好事多磨,戒骄戒躁~~
展开
-
《Character-Level Language Modeling with Deeper Self-Attention》文献阅读
本博文基于《Character-Level Language Modeling with Deeper Self-Attention》这篇文章进行讲解,该文章发表在2019年的AAAI会议上,作者来自Google AI。在本文中,作者展示了具有固定上下文的深层(64层)transformer模型(Vaswani et al.2017)在很大程度上优于RNN变体,在两个流行基准上实现了SOTA水平:text8上每个字符1.13位,enwik8上为1.06位。为了在这个深度上获得好的结果,作者证明在中间网络层.原创 2021-11-28 16:29:00 · 1011 阅读 · 0 评论 -
TransformerCPI文献阅读
本博文基于《TransformerCPI: Improving compound–protein interaction prediction by sequence-based deep learning with self-attention mechanism and label reversal experiments》这篇文章进行讲解,该文章发表在2020的ACL上,作者是印度理工学院计算机科学与工程系的两个研究生,主要的工作是构建了一个PPI的数据集,包括文本,基因序列和蛋白结构这三种模态。另.原创 2021-03-04 14:21:25 · 2246 阅读 · 8 评论