大模型论文周报丨来自微软、北大、清华、Meta AI等机构前沿科研动态

大模型又可以称为Foundation Model模型，模型通过亿级的语料或者图像进行知识抽取，学习进而生产了亿级参数的大模型。大模型的出现迎来了AI研究的新时代，其所带来的结果提升十分显著，超越了很多领域中针对研究问题设计特定算法实现的提升。

我们精选了10篇大模型领域的优秀论文，分别来自微软、北京大学、清华大学、Meta AI、北京智源研究院等机构。

为了方便大家阅读，只列出了论文标题、作者、AI华同学综述等信息，如果感兴趣可复制论文链接查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

1. Instruction Tuning with GPT-4

作者：Baolin Peng,Chunyuan Li, Pengcheng He,Michel Galley,Jianfeng Gao

AI华同学综述（大模型驱动）：先前的工作表明,使用机器生成的随机指令驱动程序进行大型语言模型建模可以实现令人惊叹的零射能力。在本文中,我们首次试图用GPT4生成用于建模大型语言模型的指导数据。我们的早期实验证明了这些模型比以前最先进的基线模型产生更高的精确误差性能。我们还从GPT 4收集了评价和比较数据,以便实现全面评估和奖励模型训练。

论文链接：https://www.aminer.cn/pub/642f85f1fe260a0994c4c871

2. SegGPT: Segmenting Everything In Context

作者：Xinlong Wang,Xiaosong Zhang,Yue Cao,Wen Wang,Chunhua Shen,Tiejun Huang

AI华同学综述（大模型驱动）：SegGPT是一个集上下文无关学习框架的通用模型。我们将各种分词任务统一为一个通用的上下文解析框架,并将它们转换成相同的图像格式。分词训练被模拟为每个数据样本中随机彩色建模问题,每个样本都有单个或多个分词步骤。我们的结果表明,该框架在域内和领域外具有强有力的优势,无论是质量上还是量化上。

论文链接：https://www.aminer.cn/pub/642fb00cfe260a0994c4c989

3. CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Evaluations on HumanEval-X

作者：Qinkai Zheng,Xiao Xia,Xu Zou,Yuxiao Dong,Shan Wang,Yufei Xue,Zihan Wang,Lei Shen,Andi Wang,Yang Li,Teng Su,Zhilin Yang,Jie Tang

AI华同学综述（大模型驱动）：我们介绍了可用于编码的大型语法和函数字符串模型。该模型已在23个语言上进行训练,并在人类评估中优于类似大小的平行语料库编码模型。我们的广泛的研究表明,可用于编码的大型语法和函数字符串模型优于类似大小的平行语料库编码模型。

论文链接：https://www.aminer.cn/pub/64264f7b90e50fcafd68e145

4. A Survey of Large Language Models

作者：Wayne Xin Zhao…Peiyu Liu,Jian-Yun Nie,Ji-Rong Wen

AI华同学综述（大模型驱动）： 语言建模近年来受到了广泛的研究。作为一种主要方法,语言建模在过去两个世纪中受到了广泛的研究。最近,人们开发了用于大规模语料库的大规模语言模型。这些模型不仅可以显著提高性能,而且可以展示出一些具有特殊能力的特性。为了区分标准级别之间的差异,研究社区已经用大型语言模型(LLM)的代价标记了一个术语。

论文链接：https://www.aminer.cn/pub/642a43bc90e50fcafd9b1555

5. Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning

作者：Vladislav Lialin,Vijeta Deshpande,Anna Rumshisky

AI华同学综述（大模型驱动）：本文系统概述和比较了参数有效优化方法,涉及2019年2月至2022年2月的40多篇论文。这些方法旨在通过仅训练一小部分参数来解决大型语言模型的复杂性和合理性。我们提供了一种分类,涵盖了多种方法的广泛范围,并提出了一种详细的方法对比,重点是实际寿命和精确调整数十亿级语言模型。

论文链接：https://www.aminer.cn/pub/6423ac7790e50fcafd55eaa0

6. HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace

作者：Yongliang Shen,Kaitao Song,Xu Tan,Dongsheng Li,Weiming Lu,Yueting Zhuang

AI华同学综述（大模型驱动）：HuggingGPT是一个系统,用于整合机器学习社区中各种模块和领域中的人工智能模型。该系统使用ChatGPT来执行任务规划,并根据其可用功能描述选择模型,执行每个子任务。通过利用HuggingFace的强大语言能力,HuggingGPT能够覆盖许多复杂的AI任务,取得了令人印象深刻的结果。

论文链接：https://www.aminer.cn/pub/64264f7b90e50fcafd68e162

7. BloombergGPT: A Large Language Model for Finance

作者：Shijie Wu,Ozan Irsoy,Steven Lu,Vadim Dabravolski,Mark Dredze, Sebastian Gehrmann,Prabhanjan Kambadur,David Rosenberg,Gideon Mann

AI华同学综述（大模型驱动）：BloombergGPT是一个50亿个参数语言模型,在覆盖范围广泛的财务数据上进行训练。我们构建了一个363亿美元的标记数据集,可能是该领域的最大实体特定数据集,加上345亿美元从一般purpose数据库中提取的数据。我们在标准的LM基准、开放式银行基准和一系列内部基准上进行了评估,以确保我们的模型优于现有的LM基准。此外,我们解释了我们的建模选择、训练过程和评价方法。

论文链接：https://www.aminer.cn/pub/64267642158fc30f5977f354

8. Training Language Models with Language Feedback at Scale

作者：Jérémy Scheurer,Jon Ander Campos,Tomasz Korbak,Jun Shern Chan,Angelica Chen,Kyunghyun Cho,Ethan Perez

AI华同学综述（大模型驱动）：我们描述了从语言和比较反馈中学习 Imitation学习。这项研究表明,对于一个有监督的玩具任务,与人类判断的相关性最好,而对人类总结的贡献也比单独的反馈提高。我们展示了如何将ILF应用于一个精心控制的游戏任务和真实的摘要任务。我们的实验证实,大型语言模型准确地结合了反馈,并且对标记大小和数据集大小都优于仅使用一小部分手动注释的人工注释。

论文链接：https://www.aminer.cn/pub/6424fe3490e50fcafd78b7ee

9. LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention

作者：Renrui Zhang,Jiaming Han,Aojun Zhou,Xiangfei Hu,Shilin Yan,Pan Lu,Hongsheng Li,Peng Gao,Yu Qiao

AI华同学综述（大模型驱动）：本文介绍了一种名为LLaMA-Adapter的轻量级自适应方法，用于高效地微调Language Models，使其成为一种按照指令进行操作的模型。通过使用大约52K个自我指导演示，LLaMA-Adapter仅在LLaMA 7B模型的冻结状态下引入了1.2M可学习参数，并且在8个A100 GPU上的微调耗时不到一个小时。具体来说，作者采用了一组可学习的自适应提示，并将它们作为输入文本令牌附加到更高的Transformer层中。然后，提出了一种名为“零启动”的注意力机制，该机制具有零门控能力，可以自适应地将新的指令提示注入LLaMA中，同时有效地保留它的预训练知识。通过高效的训练，LLaMA-Adapter可以生成高质量的响应，与全面微调的7B参数的Alpaca相当。此外，本文的方法可以简单地扩展到多模态输入，例如图像，并用于基于图像的LLaMA上，在ScienceQA上实现了出色的推理能力。作者已将代码发布在https://github.com/ZrrSkywalker/LLaMA-Adapter上。

论文链接：https://www.aminer.cn/pub/6423ac7890e50fcafd55f26b

10. ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks

作者：Fabrizio Gilardi,Meysam Alizadeh,Maël Kubli

AI华同学综述（大模型驱动）：我们证明了聊天数据提取器优于众包工作者。ChatGPT在几个注释任务中都优于众包工作者。特别是,其无射击精度为四分之一的五个标记任务超过了众包工人的零射击精度。此外,该语料库的每标记价格比MTurk便宜两倍。这些结果表明,大型语言模型的潜力可以将大幅提高文本分类器的效率。

论文链接：https://www.aminer.cn/pub/64225b7d90e50fcafde14d48