- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 EMNLP2020 | 模型压缩系列：BERT-of-Theseus(一种基于模块替换的模型压缩方法)
当古希腊神话遇到BERT，于是有了BERT-of-Theseus背景论文标题：BERT-of-Theseus: Compressing BERT by Progressive Module Replacing论文作者：Canwen Xu, Wangchunshu Zhou, Tao Ge, Furu Wei, Ming Zhou机构：武汉大学、北京航空航天大学、微软亚洲研究院论文地址：https://arxiv.org/abs/2002.02925收录会议：EMNLP 2020论文代码
2020-10-24 10:05:43
970
1
原创 NeurIPS 2020|RAG：为知识密集型任务而生
NeurIPS 2020|RAG：检索系统助攻生成器背景今天主要介绍一项Facebook AI Research发表于NeurIPS 2020(12月才召开，大家耐心等待哈) 的成果：RAG。虽然NLP在过去几年中突飞猛进，从为特定任务设计定制化的框架，再到如今各种基于海里语料无监督预训练得到强大的通用模型通过微调即可应对各种不同NLP任务。这些模型充满潜力，但它们也有三个主要缺点:(1)不能轻易地扩展或修正模型的记忆(2)预测结果的可解释性差(3)偶尔产生“幻觉”(hallucinations
2020-10-10 20:01:17
1758
原创 “芝麻街”喜添新成员——Big bird
“芝麻街”喜添新成员——Big bird0. 背景题目：Big Bird: Transformers for Longer Sequences机构：Google Research作者：Manzil Zaheer, Guru Guruganesh, Avinava Dubey, Joshua Ainslie, Chris Alberti, Santiago Ontanon, Philip Pham, Anirudh Ravula, Qifan Wang, Li Yang, Amr Ahmed论文地
2020-10-09 22:54:51
1477
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人