![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Transformer
文章平均质量分 90
Vincy_King
所有人都祝你快乐,我只愿你遍历山河,觉得人间值得。
展开
-
【Gaze】GazBy: Gaze-Based BERT Model to Incorporate Human Attention in Neural Information Retrieval
本文感兴趣的是研究是否可以利用人类注视信号来提高最先进的搜索引擎性能,以及如何将这个以人类注意力为标志的新输入信号整合到现有的神经检索模型中。在本文中,作者提出了GazBy (原创 2022-08-31 13:16:26 · 475 阅读 · 0 评论 -
【Transformer】SIMPLIFIED SELF-ATTENTION FOR TRANSFORMER-BASED END-TO-END SPEECH RECOGNITION 阅读笔记
2021 IEEE由于这篇所涉及的领域我并不了解,所以仅提供instruction和method部分,experiment其实也不太详尽,就不多赘述,需要者可自行观看。总的来说,本篇paper最大的亮点是提出了使用FSMN内存块来形成Q和K向量的SSAN层,并作用于Transformer模型,在确保性能没有降低的前提下,减少了传统Transformer训练的时长。由于Transformer模型在建模长期依赖关系方面的优势,因此已被引入端到端语音识别中,在各种任务上具有最先进的性能。然而,这种改进通常是通过使原创 2022-08-12 17:03:56 · 730 阅读 · 0 评论 -
【Transformer】Syntax-augmented Multilingual BERT for Cross-lingual Transfer 阅读笔记
近年来,我们发现,通过使用许多语言的大型语料库来预训练多语言文本编码器来促进跨语言迁移学习。然而,由于不同语言的类型差异,跨语言迁移具有挑战性。然而,语言语法,例如语法依赖性,可以弥合类型上的差距。之前的研究表明,预先训练过的多语言编码器,如mBERT,可以捕获语言语法,帮助跨语言迁移。这项工作表明,显式地提供语言语法和使用一个辅助目标来编码通用依赖树结构来训练mBERT,有助于跨语言迁移。作者对四个NLP任务进行了严格的实验,包括文本分类、问答、命名实体识别和面向任务的语义解析。实验结果表明,语法增强的m原创 2022-08-12 16:59:21 · 570 阅读 · 0 评论