在上下文学习中，语言模型究竟学到了什么? - NICE30期

于 2024-10-11 18:44:58 发布
阅读量1 收藏
点赞数
文章标签： 学习 语言模型 人工智能 自然语言处理
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3ODgwODA2MA==&mid=2247532432&idx=2&sn=499f335de5166df34c70453dfd1e4473&chksm=ea2c9fd66f26d457bc8b373f445f1926dffe78a01e2dbd6a435ec587479b0d6c1bd4ab58925b&scene=126&sessionid=0
版权

80605ada29c617210127a658bbf139aa.png

主题

在上下文学习中，语言模型究竟学到了什么? 探索结构化任务假说

时间

2024.10.13 15:00-16:00 周日

入群

3facb5ba8d6307a55471386dd1ef5e15.jpeg

06e8bc168850ea7db1317fc8d0d75303.png

论文：What Do Language Models Learn in Context? The Structured Task Hypothesis. (ACL 2024)
地址：https://arxiv.org/pdf/2406.04216

代码链接: https://github.com/eth-lre/LLM_ICL/

大纲

  1. 导论

  2. 假设1: 任务选择

  3. 假设2: 元学习

  4. 假设3: 结构化任务选择

  5. 结论

引言

大型语言模型（LLMs）展现了通过演示中的上下文示例学习新任务的能力，这被称为上下文学习（ICL）。因此，许多研究致力于揭示ICL背后的理论。其中一个流行的假设是通过任务选择来解释ICL：LLMs基于演示示例识别任务，并将其泛化到提示中。另一个流行的假设认为ICL是一种元学习形式，即模型在预训练时学习一种学习算法，并将其应用于演示示例。最后，第三种假设认为LLMs利用演示来选择预训练期间学习的任务组合来执行ICL。

我们通过一系列源自常见文本分类任务的实验，实证探讨了这三种解释LLMs上下文学习能力的假设。我们通过反例推翻了前两个假设，并提供了支持第三个假设的证据。我们的结果表明，LLMs可以通过组合预训练期间学习的任务，在上下文中学习新的任务。

嘉宾介绍

2bf784f996a7340dd8b26a9bb6af9691.jpeg

李矫达，瑞士联邦理工学院（ETH）人工智能中心的博士生，由Ryan Cotterell和Stefan Feuerriegel共同指导。他还与Mrinmaya Sachan密切合作。ETH数据科学硕士学位，在香港城市大学电子与通信工程本科。

研究兴趣包括自然语言处理中的可解释性和形式语言理论。

编辑：聂耳聪

zenRRan
关注
大模型在机器翻译中的应用：跨越语言壁垒
AI天才研究院
07-15 966
大模型在机器翻译中的应用：跨越语言壁垒 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：机器翻译，大模型，自然语言处理，深度学习，Transformer架构 1. 背景介绍
Elasticsearch：什么是大语言模型 (LLMs)？
Elastic 中国社区官方博客
10-16 1818
假设你想参加流行的游戏节目 Jeopardy（这是一个美国电视游戏节目，参赛者将获得答案并必须猜测问题）。要参加演出，你需要了解任何事情的一切。所以你决定在接下来的三年里每天都花时间阅读互联网上的所有内容。你很快就会意识到这比最初看起来更难，并且需要投入巨大的时间。你还意识到互联网上有大量的信息。其中一些是事实，一些是观点，而大多数则介于两者之间。Jeopardy 是基于事实的，因此将大部分时间花在两者之间并不明智。你决定采用不同的方法来进行 Jeopardy 训练。
用大白话讲清楚，大模型里的Next Token Prediction究竟是什么？
puppyapple的博客
08-15 915
首先，由于没有了下文和候选项的约束，预测结果的多样性会大大提高，哪怕是同一个上文也可以有多种 next token 的结果，有点像单选变多选的感觉。而再回过头来看NTP任务的设定，其特殊就在于填空时我们总是只能看到「左边的上文」，也就是前面说了什么，而没有任何「下文」的约束。如果让我们来判断下一个token最适合填什么，比较常见的选择可能会是：「歌（手）」，「演（员）」，「艺（人）」等等。巨量的「题库」是大模型生成能力习得的关键之一，另一个关键是模型的参数量（大家不妨简单地类比为脑神经元的数量）。
【机器学习】自然语言处理的新前沿：GPT-4与Beyond
qq_61024956的博客
06-24 1万+
GPT-4概述GPT-4（Generative Pre-trained Transformer 4）是由OpenAI开发的一种大规模预训练语言模型，是GPT系列的最新版本。基于Transformer架构，GPT-4通过在大规模文本数据上进行无监督预训练，然后通过监督微调来提高其在特定任务上的性能。它能够生成高质量的自然语言文本，并在多种NLP任务中表现出色，如文本生成、翻译、摘要和对话系统等。主要特性更大规模的模型参数：GPT-4比其前身GPT-3拥有更多的参数，提升了模型的生成质量和语言理解能力。
动手学深度学习8.3. 语言模型和数据集-笔记&练习（PyTorch）
scdifsn的博客
09-09 1240
李沐老师《动手学深度学习（PyTorch版）》8.3. 语言模型和数据集-笔记&练习详解
动手学深度学习（三十六）——语言模型和数据集
Liu Feng's Blog
10-30 2674
语言模型和数据集   在给定这样的文本序列时，语言模型（language model）的目标是估计序列的联合概率。 P(x1,x2,…,xT).P(x_1, x_2, \ldots, x_T).P(x1​,x2​,…,xT​).   语言模型是非常有用的。例如，只需要一次抽取一个标记 xt∼P(xt∣xt−1,…,x1)x_t \sim P(x_t \mid x_{t-1}, \ldots, x_1)xt​∼P(xt​∣xt−1​,…,x1​)，一个理想的语言模型就能够基于模型本身生成自然文本。与猴子使用打
CMU 10423 Generative AI：lec10（few-shot、提示工程、上下文学习）
不精，不诚，不足以动人
09-30 1106
该文件主要内容涵盖了**In-context Learning（ICL）**的概念，讲解了零样本学习（Zero-shot Learning）、少样本学习（Few-shot Learning）、提示工程（Prompt Engineering）等主题。零样本学习与少样本学习（Zero-shot and Few-shot Learning）零样本学习：训练数据中没有任何包含测试数据标签的样本，模型需要从未见过的标签中进行推断。少样本学习。
大模型基础理论学习笔记——大模型有害性
maximejia的博客
01-28 1515
本文主要介绍了大模型，特别是大语言模型可能带来的有害性，主要涉及了（1）大模型可能的行为伤害，包括性能差异相关的危害、社会偏见和刻板印象相关的危害等，探讨了这些可能带来的伤害的原因以及有效削减或解决这些伤害的方法。（2）大模型的有毒性与虚假信息，对大模型在无提示、有提示情况下所表现出的有毒性输出，以及可以减轻有毒性的典型方法进行了讨论。同时，也对大模型用来提供虚假信息以及防护方面的工作进行了介绍。
LLM 大模型学习必知必会系列(二)：提示词工程-Prompt Engineering 以及实战闯关
2401_85325397的博客
07-19 1001
最核心的写一条好 prompt 的原则就是尽可能清晰、明确地表达你的需求（类比产品经理向程序员提需求）。清晰的指令：足够清晰明确地说明你希望模型为你返回什么，最后更加细致地说明需求，避免模糊表达。提供上下文和例子：给出较为充分的上下文信息，让模型更好地理解相关背景。如果能够提供示例，模型能表现更好（类似传统 LLM 中的 in-context learning）。善用符号和语法：使用清晰的标点符号，标题，标记有助于转达意图，并使输出更加容易被解析。
大语言模型原理基础与前沿：涌现能力
AI天才研究院
08-21 585
大语言模型（Large Language Models，LLMs）作为人工智能和自然语言处理领域的重大突破，在近年来引起了广泛关注。这些模型不仅在各种语言任务中展现出卓越的性能，还表现出了一种被称为"涌现能力"（Emergent Abilities）的令人惊叹的特性。涌现能力指的是模型在达到一定规模后，突然表现出的未经专门训练的新能力，这一现象对我们理解人工智能的本质和潜力具有深远的影响。本文将深入探讨大语言模型的原理基础，重点关注其涌现能力的形成机制、表现形式以及对未来AI发展的启示。
大语言模型原理基础与前沿 作为大语言模型提示的视觉输入
AI天才研究院
07-21 879
大语言模型原理基础与前沿 作为大语言模型提示的视觉输入 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随
Prompt-Tuning——深度解读一种新的微调范式
热门推荐
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
MySQL数据库的详细学习步骤
最新发布
2401_87352036的博客
10-11 739
MySQL数据库的详细学习步骤可以归纳为以下几个阶段，每个阶段都包含了特定的学习内容和目标。
关于通信方式的一些自我学习（uart、i2c、spi的一些最底层的逻辑以及运用方式）STM32F407上的一些实际日常应用
weixin_60991529的博客
10-08 1188
首先其工作原理是将数据以串行方式进行发的，接收的时候将数据转换为并行数据。利用异步通信所以不需要时钟线适用于不同芯片、芯片对模块之间的控制。因此需要设置好波特率（115200、9500）数据位、停止位、奇偶效验位。
CUDA Graphs学习与实验
Hi20240217的博客
10-11 1018
CUDA图（CUDA Graphs）为CUDA引入了一种全新的工作提交模型。它允许将一系列操作（如内核启动）以图的形式表示，并通过依赖关系将这些操作连接起来。这种图的定义过程与其执行过程是分开的，这意味着我们可以提前定义好一个图，然后多次重复执行它
10.8学习
2401_87363162的博客
10-08 898
每一个server都有一个定时器，超时时间为election timeout（一般为150-300ms），如果某server没有超时的情况下收到来自领导者或者候选者的任何消息，定时器重启，如果超时，它就开始一次选举。A：假设存在这样一种极端情况，有两个Proposer依次提出了一系列编号递增的提案，导致最终陷入死循环，没有value被选定。●Acceptor：决策者，Accept以后会拒绝小于N的提案，并把自己的[N,V]返回给Proposer。2PC协议：两阶段提交协议，P是指准备阶段，C是指提交阶段。
【Java】异常的处理-方式【主线学习笔记】
CBCY_csdn的博客
10-07 867
Java是一门功能强大且广泛应用的编程语言，具有跨平台性和高效的执行速度，广受开发者喜爱。在接下来的学习过程中，我将记录学习过程中的基础语法、框架和实践技巧等，分享学习心得，对自己学习过程进行整理和总结，也希望能为其他学习Java的朋友提供一些帮助和参考。在编写程序时，可能会遇到各种错误或异常情况。例如，在执行除法运算时，分母为零会导致程序崩溃；访问数组时超出边界会引发。为了避免这些问题，程序员需要在可能出现错误的地方加上检查代码，这往往会导致代码冗长且可读性差。
服务器虚拟化的详细学习要点
2401_87352036的博客
10-05 694
以上内容仅供参考，学习服务器虚拟化涉及的技术和工具时，请确保从可靠的来源获取最新信息，并根据实际情况进行调整和应用。优势：掌握服务器虚拟化在提高资源利用率、增强灵活性和可扩展性、简化管理、提高安全性、支持高可用性等方面的优势。技术融合：了解服务器虚拟化将与存储虚拟化、网络虚拟化等技术深度融合，形成一体化的虚拟化解决方案。虚拟化层次：理解虚拟化的不同层次，如裸机虚拟化（Type 1）和托管虚拟化（Type 2）。虚拟机（VM）：了解虚拟机是服务器虚拟化的基本单元，包含独立的操作系统、应用程序和资源配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值