Decomposed Prompting: Unveiling Multilingual Linguistic Structure Knowledge in English-Centric LLMs

最新推荐文章于 2024-08-09 09:47:48 发布
最新推荐文章于 2024-08-09 09:47:48 发布
阅读量48 收藏
点赞数
分类专栏： LLM Daily LLM Prompt 文章标签： 语言模型 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/138620568
版权
本文探讨了以英语为中心的大型语言模型（LLM）如GPT-3和LLaMA在多语言任务中的能力，采用分解提示法研究它们的语言结构理解。实验显示，分解提示在零样本和小样本情况下优于传统方法，揭示了英语LLM对语言结构的深刻理解。同时，研究发现这些模型在多语言任务中的表现受语言与英语的相似度和提示策略影响。
摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《Decomposed Prompting: Unveiling Multilingual Linguistic Structure Knowledge in English-Centric Large Language Models》的翻译。

分解提示：揭示以英语为中心的大型语言模型中的多语言语言结构知识

摘要

尽管英语在训练数据中占主导地位，但GPT-3和LLaMA等以英语为中心的大型语言模型（LLM）在执行多语言任务方面表现出了非凡的能力，这引发了人们对其跨语言能力的深度和性质的质疑。本文介绍了分解提示法来探究序列标注任务中这些LLM的语言结构理解。与单一的文本-文本提示不同，我们的方法为输入句子的每个token生成一个单独的提示，要求提供其语言标签。我们在38种语言的通用依赖词性token数据集上评估了我们的方法，同时使用了以英语为中心和多语言LLM。我们的研究结果表明，在零样本和小样本的情况下，分解提示的疗效和效率超过了迭代提示基线。进一步的分析揭示了评估方法和提示中使用说明的影响。我们的多语言调查表明，以英语为中心的语言模型平均比多语言模型表现更好。我们的研究深入了解了以英语为中心的LLM的多语言可迁移性，有助于理解他们的多语言语言知识。

1 引言

2 背景和相关工作

3 LLM的分解提示

4 实验设置

5 结果与分析

6 多语言调查

7 讨论

8 结论

总之，我们通过分解提示的视角对以英语为中心的LLM的多语言能力进行了调查，得出了重要

了解本专栏 订阅专栏 解锁全文 超级会员免费看
UnknownBody
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Decomposed Prompting: A MODULAR APPROACH FOR SOLVING COMPLEX TASKS
c_cpp_csharp的专栏
08-30 1004
小样本提示是一种使用大型语言模型（LLM）来解决各种任务的强大方法。然而，随着任务复杂性的增加，或者当任务本身的各个推理步骤很难学习时，尤其是当嵌入到更复杂的任务中时，这种方法会很困难。为了解决这一问题，我们提出了分解提示，这是一种通过将复杂任务分解（通过提示）为更简单的子任务来解决复杂任务的新方法，这些子任务可以委托给专用于这些子任务的基于提示的LLM的共享库。这种模块化结构允许每个提示都针对其特定的子任务进行优化，必要时进行进一步分解，甚至可以根据需要轻松地用更有效的提示、经过训练的模型或符号函数替换。
ICLR论文2
Hekena的博客
03-18 817
同样，在既有自行车又有汽车的图像中，我们可以对自行车或汽车进行定位。在斑马图像中，通过使用旨在识别 "斑马 "或 "条纹 "的语料库文本，我们能够对斑马进行定位。最后，在最后三幅图像中，我们发现我们可以制定具体的对比性问题，问：“这幅图像中哪些像素看起来像P而不是Q？这样做，我们成功地识别了一只蜜蜂而不是一朵花，一只狗而不是一只猫，以及一座山而不是云（反之亦然）。下面这组图片是在使用COCOA做定位，最左侧的是原图，越往右，代表随机选择的图，COCOA定位的“P”图，和COCOA定位的“Q”图。
论文翻译 | Decomposed Prompting: A MODULAR APPROACH FORSOLVING COMPLEX TASKS 分解提示:解决复杂任务的模块化方法
m0_49651195的博客
07-13 931
少样本提示是使用大型语言模型解决各种任务的一种非常强大的方法。然而，当任务复杂性增加或任务本身的单个推理步骤难以学习时，特别是当嵌入到更复杂的任务中时，这种方法就会出现问题。为了解决这个问题，我们提出了分解提示，这是一种通过(通过提示)将复杂任务分解为更简单的子任务来解决复杂任务的新方法，这些子任务可以委托给专用于这些子任务的基于提示的LLM共享库。这种模块化结构允许针对特定的子任务对每个提示进行优化，必要时还可以进一步分解，如果需要，甚至可以很容易地替换为更有效的提示、训练过的模型或符号函数。
Thinking in Frequency: Face Forgery Detection by Mining Frequency-aware Clues
liguandong
05-28 1505
F3-Net 商汤Deepfake检测模型 - 知乎前言这篇论文是商汤团队在ECCV2020的一个工作： Thinking in Frequency: Face Forgery Detection by Mining Frequency-aware Clues，通过引入两种提取频域特征的方法FAD (Frequency-Aware Decomposition) 和LFS (L…https://zhuanlan.zhihu.com/p/260998460 本文还是很值得读的，在篡改检测上应用...
论文：DIN-SQL：Decomposed In-Context Learning of Text-to-SQL with Self-Correction
qq_51700285的博客
07-30 712
在zero-shot和few-shot下的大模型已经有了足够好的结果，但这些模型在常用的基准测试（比如spider上）仍然落后于设计良好的经过微调的模型，如下图：微调相比于从头开始或微调一个模型，不需要消耗过多的资源，此外在一些基准测试数据集上，few-shot已经展现出较好性能，在训练例子有限的情况下也能有很高准确率。
DoRA: Weight-Decomposed Low-Rank Adaptation
liferecords的博客
02-26 1491
我们依靠 OpenAI 的 GPT-3.5-turbo-0125 模式来完成这项任务，根据 OpenAI 的说法，该模式是该系列的旗舰型号，支持 16K 上下文窗口并针对对话进行了优化（https://platform.openai.com/docs/models/gpt-3-5-turbo）。有趣的是，在我们的评估中，大型、小型和 Ada 模型之间的性能差异远不如 MTEB 基准测试那么明显，这反映了这样一个事实，即在大型基准测试中观察到的平均性能并不一定反映在自定义数据集上获得的平均性能。
FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting（ICML2022）
小蚂蚁与大象
07-07 2802
尽管基于transformer的方法显著改善了长期序列预测的最新结果，但它们不仅计算成本高，更重要的是，无法捕捉时间序列的全局视图(例如总体趋势)。为了解决这些问题，我们建议将Transformer与季节趋势分解方法相结合，其中分解方法捕获时间序列的全局剖面，而Transformer则捕获更详细的结构。为了进一步增强Transformer在长期预测中的性能，我们利用了大多数时间序列往往在众所周知的基(如傅里叶变换)中具有稀疏表示的事实，并开发了一种频率增强Transformer。该方法被称为频率增强分解变压
论文笔记：FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting
qq_40206371的博客
02-26 2152
2022 ICML。
mail-sc.js:SendCloud 的封装电子邮件 sdk
05-30
邮件-sc.js 的电子邮件 SDK 欢迎 PR。要求Node.js > v7.0.*依赖关系公理调试安装npm i --save mail-sc.js用法示例 1： const { createClient , ...const decomposed = decomposeAddress ( address ) ;co
Decomposed Request Scheduling in SnF OCS Networks
02-07
在“Decomposed Request Scheduling in SnF OCS Networks”这篇研究论文中，作者探讨了在Store-and-Forward（SnF）光路交换（OCS）网络中的请求调度问题。SnF机制允许大容量数据在经过繁忙网络时存储在中间节点，...
动态的路径压缩字典树（Dynamic Path-Decomposed Tries）
05-22
动态的路径压缩字典树（Dynamic Path-Decomposed Tries），是一种高效且节省存储空间的字符串数据结构，尤其适用于处理大量字符串数据。这种结构在内存中实现，旨在提供快速的字符串查询和操作，同时减少存储需求。...
Networkers2009：BRKIPM-2018 - QoS Decomposed
07-11
根据给定文件的信息，我们可以提炼出以下关于QoS（Quality of Service）在IP/MPLS网络中的部署和应用的关键知识点： ### 一、QoS的概念与重要性 **QoS（服务质量）**是一种网络技术，旨在确保关键应用程序和服务在...
Motion blur kernel estimation in steerable gradient domain of decomposed image
02-09
Motion blur kernel estimation in steerable gradient domain of decomposed image
【生成式人工智能-九-大型语言模型的幻觉、偏见等安全性问题】
最新发布
zishuijing_dd的博客
08-09 544
大型语言模型的幻觉、偏见等问题，简介解决方案
大语言模型综述泛读之Large Language Models: A Survey
08-05 868
大语言模型发展的四个阶段：①、统计语言模型；②、神经语言模型；③、预训练语言模型；④、大语言模型。统计语言模型是一种基于统计学的自然语言处理模型，它的主要任务是计算一段文本中词语序列的概率，并根据这个概率对文本进行预测或者排序。统计语言模型的核心思想是通过对大量语料库中的统计信息进行分析，建立词语之间的概率关系，然后用这些概率关系来预测或生成新的文本。以下是统计语言模型的一些主要原理：简单的计数方法。
Chatgpt平替工具 国内有哪些好用的AI大语言模型
u010436243的博客
08-06 946
AI大语言模型能够广泛应用于多个领域，如客户服务、内容生成、教育、医疗、法律等，它们不仅可以提供自动化的对话和信息检索，还可以协助专业人员完成复杂任务，例如，医疗领域的AI模型能够帮助医生更快地查找医学文献或进行初步的诊断建议；以上这些国产大语言模型已经逐渐成为国内AI应用的主力军，它们不仅在技术上紧跟国际前沿，还在本土化应用中展现出独特的优势，随着这些模型的不断优化和发展，未来我们将看到更多创新的应用场景，这将进一步推动各行业的智能化进程，希望这些推荐能为你在选择AI大语言模型时提供一些参考！
轻舟智问大语言模型算法分析报告
Baiduyun1688的博客
08-07 376
同时，进行了严格的功能测试、性能测试和安全测试，以确保算法的稳定性和可靠性。在开发的不同阶段进行了多轮测试，包括单元测试、集成测试和系统测试，确保算法的每个部分都能正常运行，并在完整的系统环境中表现稳定。类似的产品可能包括其他基于人工智能的大语言模型。该产品的应用有助于提升各行业的服务质量和效率，促进知识的传播和应用，对提升社会生产力具有积极意义。随着人工智能技术的发展和各行各业对效率提升的需求，基于此类算法的产品市场潜力巨大。算法安全监测：持续检测算法的性能，确保稳定运行，并及时修复可能的安全问题。
大语言模型（LLM）文本预处理实战
weixin_51524504的博客
08-06 977
token 来表示词汇表外的词汇；相反，GPT-2 使用字节对编码（BPE）分词器，它将词汇分解为子词单元，我们将在后面的章节中讨论这一点。进行填充（因为在批量输入训练时通常使用掩码，我们无论如何都不会关注填充的 token，所以这些 token 具体是什么并不重要）。一些分词器使用特殊 token 来为大型语言模型提供额外的上下文信息。注意，GPT-2并不需要上述提及的任何特殊 token，而是仅使用。我们在两个独立的文本来源之间使用。token 来简化复杂度。代表不在词汇表中的词汇。
atal: iconv_open(UTF-8,UTF-8-MAC) failed, but needed: precomposed unicode is not supported. If you want to use decomposed unicode, run "git config core.precomposeunicode false"
06-09
这个错误提示通常是由于 Git 配置了错误的编码格式，导致无法正确识别文件名或者文件内容。在 macOS 系统中，文件名默认使用的是 precomposed unicode 编码格式，而 Git 默认使用的是 decomposed unicode 编码格式，因此可能会出现编码不兼容的情况。 为了解决这个问题，你可以尝试运行以下命令来设置 Git 的 core.precomposeunicode 配置： ``` git config core.precomposeunicode false ``` 这个命令将会关闭 Git 的 decomposed unicode 编码格式，改为使用 macOS 系统默认的 precomposed unicode 编码格式，从而解决编码不兼容的问题。 如果你仍然无法解决这个问题，可能需要进一步检查 Git 和系统的编码设置，以便找到并解决问题。你可以参考 Git 的相关文档或者寻求专业的技术支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值