LLM中的few-shot是什么意思

最新推荐文章于 2024-07-15 16:26:06 发布
最新推荐文章于 2024-07-15 16:26:06 发布
阅读量250 收藏 4
点赞数 2
分类专栏： LLM 文章标签： 自然语言处理 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuanlulu/article/details/139123476
版权

我上篇博客写了我做的测试Baichuan2-13B模型的一些工作，测试过程免不了要修改代码，在代码中接触了下所谓的few-shot。

比如，所谓2-shot，就是在提示词里提供两个问题和答案，让大模型以为自己回答过问题，后面生成文本会参考前面的内容。2-shot的提示词如下：
在这里插入图片描述
而0-shot，或者zero-shot在正式的问题前面就没有追加的例子。0-shot的提示词如下：
在这里插入图片描述
经过我的测试，2-shot的情况下，Baichuan2-13B-Base的C-Eval准确率是0.587,同样的方法，0-shot的情况下则只有0.579。
所以few-shot其实能增加大语言模型的能力的。

参考资料

baichuan2-13b-base的C-Eval得分简析

yuanlulu
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Building LLM Powered Applications-2024.5.pdf
07-18
接下来，重点介绍了基于 Python 的轻量级框架LangChain，指导您创建能够从非结构化数据中检索信息的智能体（agent），并使用 LLM 和强大的工具包，对结构化数据进行高效处理。 此外，本书还涉足 LFM 领域，它超越了...
LLM-RAG-WEB 大模型本地知识库召回
03-01
https://github.com/lonngxiang/LLM-RAG-WEB
【杂物间2】few-shot，one-shot，zero-shot以及它们背后卷疯了的CV圈
weixin_43594181的博客
10-31 1279
整理碎片知识之～小、单、零样本学习。
LLM少样本示例的上下文学习在Text-to-SQL任务中的探索
u011426236的博客
02-07 1361
本研究探索了用于文本到SQL领域语义解析任务的各种提示设计方法。本文提出了一种利用示例的SQL语法结构来选择示例演示的方法，强调多样性和相似性作为采样目标。此外，本文发现大型语言模型（LLMs）从与数据库相关的知识增强中受益。未来的研究可以基于本文的发现来检验本文方法在其他领域的可转移性。通过持续改进LLMs在语义解析方面的能力，本文旨在为开发更准确、更稳健和更易理解的问答系统做出贡献。
EMNLP2023 | 基于显式证据推理的few-shot关系抽取CoT
zenRRan的博客
11-16 580
深度学习自然语言处理 原创作者：wkk论文：Chain of Thought with Explicit Evidence Reasoning for Few-shot Relation Extraction地址：https://arxiv.org/abs/2311.05922摘要Few-shot关系提取涉及使用有限数量的注释样本识别文本中两个特定实体之间的关系类型。通过应用元学习和神经图技术，已...
大型语言模(LLM) : 提示词工程(一)
weixin_42608414的博客
05-12 5347
这是吴恩达 《ChatGPT Prompt Engineering for Developers》 的课程笔记系列。 本文是第二讲的内容：Guidelines 课程主讲：Andrew Ng，Isa Fulford Isa Fulford也是《OpenAI Cookbook》的主要贡献者之一
谈谈NLP中 大语言模型LLM的 思维链 Chain-of-Thought(CoT)
Neleuska的博客
07-03 4692
NLP、大语言模型LLM、思维链、CoT
综述｜如何利用LLM做多模态任务？
zenRRan的博客
05-16 744
作者｜胡安文（知乎同名）进NLP群—>加入NLP交流群大型语言模型LLM（Large Language Model）具有很强的通用知识理解以及较强的逻辑推理能力，但其只能处理文本数据。虽然已经发布的GPT4具备图片理解能力，但目前还未开放多模态输入接口并且不会透露任何模型上技术细节。因此，现阶段，如何利用LLM做一些多模态任务还是有一定的研究价值的。本文整理了近两年来基于LLM做vision...
最简明的Few-shot Prompt指南
AI相关从业分享
07-02 1245
当它遇到一个新的问题时，我们不需要提供大量的例子，只需要给出几个关键线索（也就是提示），这个助手就能利用它之前学到的知识，快速地理解并解决新问题。但是，如果你给出一些提示，比如“这个问题和之前的几何问题有点像”，这个学生就能快速地应用它之前学到的几何知识来解决这个新问题，即使它之前没有见过完全一样的问题。这种方法的关键在于，通过精心设计的提示，可以有效地将预训练模型的能力迁移到新的任务上，即使是在极少的样本情况下。提示工程的艺术在于，如何通过最小的修改，使得预训练模型能够在新任务上表现良好。
【论文笔记】Language Models are Few-Shot Learners A部分
m0_48948682的博客
03-06 1351
GPT-3 技术报告。
tensorrt-llm-0.8.0-cp310-cp310-win-amd64.whl
03-08
whl格式文件 TensorRT是由NVIDIA推出的一个高性能的深度学习推理（Inference）优化器和运行时引擎，它可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT是一个C++库，提供C++ API和Python API，主要用于...
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
06-09
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
LangChain-for-LLM-Application-Development-main.zip
06-27
LangChain-for-LLM-Application-Development-main.zip
2024Datawhale AI夏令营---基于术语词典干预的机器翻译挑战赛--学习笔记
weixin_61573157的博客
07-15 1089
机器翻译（Machine Translation，简称MT）是自然语言处理领域的一个重要分支，其目标是将一种语言的文本自动转换为另一种语言的文本。机器翻译的发展可以追溯到20世纪50年代，经历了从基于规则的方法、统计方法到深度学习方法的演变过程。当前，机器翻译正朝着更加智能化和个性化方向发展。一方面，结合上下文理解、情感分析等技术，提高翻译的准确性和自然度；另一方面，通过用户反馈和个性化学习，提供更加符合用户需求的翻译服务。同时，跨语言信息检索、多模态翻译等新兴领域也正在成为研究热点。
王牌站士Ⅶ--理解大型语言模型LLM的参数
RamendeusStudio的博客
07-14 798
较小的模型对环境的影响要小得多。平均而言，较大的模型往往能够区分这种语义区别，但是，使用较低质量训练数据的较大模型不一定会胜过较小且更集中的模型。在训练大型语言模型时，参数是 LLM 的特征，可以进行调整以优化模型预测序列中下一个 token 的能力。诚然，LLM 的参数越多，它就可以调整越多的“设置”来捕捉人类语言的复杂性，从而比参数较少的模型更好地处理人类语言。因此，在其他条件相同的情况下，如果模型 A 和模型 B 仅在处理和生成语言的能力上有所不同，那么你当然应该选择语言处理能力更出色的模型。
新一代大语言模型 GPT-5 对工作与生活的影响及应对策略
fzy20110826的博客
07-14 1400
本文探究了 GPT-5 发布信息及从 GPT-4 到 GPT-5 的变化，解析了其影响，提出了应对策略，旨在提供思考和建议。
Bert中文预训练模型（Bert-base-chinese）
最新发布
weixin_74254879的博客
07-15 566
该模型的主要作用是获取每个汉字的向量表示，后续通过微调可应用于各种简体和繁体中文任务。
LLM模型是什么意思
03-22
LLM模型是指Language Model with Latent Variables，即具有潜变量的语言模型。它是一种用于生成文本的统计模型，通过学习语言的概率分布来预测下一个单词或句子。与传统的语言模型不同，LLM模型引入了潜变量，用于表示文本中的隐藏信息或语义结构。 LLM模型的核心思想是将文本的生成过程分解为两个步骤：首先生成潜变量，然后根据潜变量生成观测数据（文本）。这样的分解可以帮助模型更好地捕捉文本中的语义信息和上下文关系。 LLM模型可以应用于多个自然语言处理任务，如文本生成、机器翻译、对话系统等。通过学习大量的文本数据，LLM模型可以自动学习语言的规律和结构，并生成具有语义连贯性的文本。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值