文本生成
JasonLiu1919
微信公众号《小窗幽记机器学习》。却顾所来径,苍苍横翠微。个人微信号:onepieceand
展开
-
ACL2020 | SongNet(格式可控的文本生成)
背景题目:Rigid Formats Controlled Text Generation机构:Tencent AI Lab作者:Piji Li、Haisong Zhang、Xiaojiang Liu、Shuming Shi论文地址:https://arxiv.org/abs/2004.08022收录会议:ACL 2020论文代码:https://github.com/lipiji/SongNet摘要基于神经网络的文本生成在各种任务中取得了巨大的进展。这些文本生成任务如对话生成、原创 2020-12-31 20:19:25 · 1385 阅读 · 0 评论 -
NeurIPS 2020|RAG:为知识密集型任务而生
NeurIPS 2020|RAG:检索系统助攻生成器背景今天主要介绍一项Facebook AI Research发表于NeurIPS 2020(12月才召开,大家耐心等待哈) 的成果:RAG。虽然NLP在过去几年中突飞猛进,从为特定任务设计定制化的框架,再到如今各种基于海里语料无监督预训练得到强大的通用模型通过微调即可应对各种不同NLP任务。这些模型充满潜力,但它们也有三个主要缺点:(1)不能轻易地扩展或修正模型的记忆(2)预测结果的可解释性差(3)偶尔产生“幻觉”(hallucinations原创 2020-10-10 20:01:17 · 1835 阅读 · 0 评论 -
ACL2020论文阅读笔记:BART
背景题目:BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension机构:Facebook AI作者:Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, Luke Zettlem原创 2020-09-26 20:18:51 · 3696 阅读 · 1 评论 -
ICML 2020论文笔记:地表最强文本摘要生成模型PEGASUS(天马)
这里写自定义目录标题背景摘要介绍模型预训练目标GSG预训练语料和下游任务实验结果消融研究Larger模型效果处理低资源数据集人工评测总结:Google发布天马-地表最强文本摘要生成模型,打败人类,我只要1000个样本)背景机构:Google Research作者:Jingqing Zhang, Yao Zhao, Mohammad Saleh, Peter J. Liu论文地址:https://arxiv.org/abs/1912.08777收录会议:ICML 2020论文代码:https:/原创 2020-07-12 14:08:34 · 6740 阅读 · 1 评论