昇思MindSpore技术公开课——第七课：Prompt Tuning

最新推荐文章于 2024-09-01 21:10:01 发布
最新推荐文章于 2024-09-01 21:10:01 发布
阅读量433 收藏 9
点赞数 4
文章标签： prompt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Sunshine_XX/article/details/135786411
版权

1、学习总结

1.1Prompt-based fine-tuning
  • Pre-Train, Fine-tune的挑战
    • 两个训练阶段存在gap，导致少样本学习能力差，容易过拟合
    • 如果为了一个任务就要去finetune一个模型，开销是非常大的
  • NLP任务的第四范式：Pretrain-Finetune-Propmt-Predict

基于prompt的分类任务

1.2Prompting

Workflow of prompting

2、学习心得

我认为这门课程对于自然语言处理领域的学生和从业者来说是非常有价值的。通过学习Prompt Tuning，我不仅掌握了提示技术的核心原理和方法，还学会了如何在实际项目中应用这些知识。这门课程让我对自然语言处理领域有了更深入的了解，也为我未来的学习和工作提供了有力的支持。

3、经验分享

MindPrompt是一个强大的工具，它简化了自然语言处理模型的开发过程。通过MindPrompt，开发人员可以方便地制定模板（Template）、定义变体（Verbalizer），然后执行提示学习（Prompt Learning）的整个流程。

4、课程反馈

Prompt Tuning课程是一门深入探讨如何利用提示（Prompt）来调整和优化自然语言处理（NLP）模型的课程。课程涵盖了从基础知识到高级应用的所有方面，包括模板设计、变体管理、提示学习等方面的内容。收获颇丰！

5、未来展望

1、试用ChatGLM

2、基于BERT/GPT完成一个使用prompt fine-tuning的作业

Lumos_yuan
关注
  • 4
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Prompt-Tuning——深度解读一种新的微调范式
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
大语言模型三种训练技术：Prompt-Tuning、Instruction-Tuning、Chain-of-Thought
u013250861的博客
05-11 1614
一切还是从BERT（BERT模型卡信息：「链接」）说起，当年Google提出BERT模型的时候，一个最大的贡献是使用了Masked Language Model（MLM），即随机掩盖输入序列的一个token，然后利用相邻的tokens预测这个token是什么，这样模型可以学会更好地理解上下文。BERT这种训练方式让模型在文本生成方面有很强的能力，因此，大家发现有时候不一定需要做fine-tuning即可让模型帮我们解决感兴趣的任务。
昇思MindSpore技术公开课--Prompt Tuning学习心得
xiaodouzi6661的博客
01-24 846
本课程涵盖了自然语言处理领域的重要概念和知识点，包括模型发展、自监督学习、预训练模型、Transformer架构、机器翻译、情感分类等内容。
Attention——Transformer——Bert——FineTuning——Prompt
weixin_39586997的博客
08-11 1146
一、Attention机制 1、计算attention公式 以及为什么要➗dk 二、Transformer模型 1、transformer encoder/decoder 2、transformer encoder 与 GRU区别 三、Bert模型 四、Fine-Tuning微调 五、Prompt
Prompt-Tuning：深度解读一种全新的微调范式
10-31
Prompt-Tuning是一种新兴的微调方法，它针对预训练语言模型（LLM）进行优化，以适应各种自然语言处理（NLP）任务。这一技术在人工智能生成内容（AIGC）时代尤其受到关注，因为超大规模模型如GPT-3等正逐渐成为对话式...
The Power of Scale for Parameter-Efficient Prompt Tuning
buyaotutou的博客
08-28 1176
论文链接刻度在参数高效快速调优中的作用In this work, we explore “prompt tuning,” a simple yet effective mechanism for learning “soft prompts” to condition frozen language models to perform specific downstream tasks. Unlike the discrete text prompts used by GPT-3, soft prompts
大模型参数高效微调技术原理综述（四）-Prompt Tuning
qq_32907491的博客
09-01 622
首先我们看一下论文摘要，快速理解论文的核心内容问题与一样，都是以任务为中心的思路解决问题。以任务为中心：它们都在试图解决FFT针对不同的下游任务都需产生一个新的微调后大模型而导致的成本效率问题。解决方案：论文提出的，也是一种使用Soft Prompt(软提示)进行迁移学习的方法。统一不同下游任务的训练数据格式，并将这些不同下游任务的训练数据汇总成一个乱序的数据集，微调预训练模型，最终获得一个能处理不同下游任务的大模型。实验效果在小参数规模的T5上，略差于FFT性能。在中参数规模的T5上，
[LLM][Prompt Engineering]：大语言模型上下文学习-What、How、Why？
Bin_Dut的博客
08-29 1113
上下文学习是使用由任务描述和（或）示例所组成的自然语言文本作为提示的提示策略。如下图所示，首先，**通过自然语言描述任务**，并**从任务数据集中选择一些样本作为示例**。其次，根据特定的模板，将这些示例按照特定顺序组合成提示内容。最后，将测试样本添加到提示后面，整体输入到大语言模型以生成输出。基于任务描述以及示例信息，LLM**无需显式的梯度更新即可识别和执行新的任务**。
OpenAI GPT-3.5 “prompt“ argument not working
suiusoar
08-29 1105
"OpenAI GPT-3.5 的 `prompt` 参数不起作用"
[LLM][Prompt Engineering]：思维链（CoT）
Bin_Dut的博客
08-29 1141
强大的逻辑推理是大“智能涌现”出的核心能力之一。推理：一般指根据几个已知的前提推导得出新的结论的过程，区别于理解，推理一般是一个“多步骤”的过程，推理的过程可以形成非常必要的“中间概念”，这些中间概念将辅助复杂问题的求解。思维链提示（Chain-of-Thought，CoT）作为上下文学习的一种扩展形式，旨在增强大语言模型在各类复杂推理任务上的表现。常见的推理任务包括算术推理、常识推理以及符号推理多种任务。与方法仅来构造提示不同，思维链提示进一步融合了。将原始的 $⟨ 输入，输出⟩ $ 映射关系转换为。
ComfyUI SDXL Prompt Styler 简介
weixin_47420447的博客
08-28 397
style_name 已经更新 旧版本的 true （不再适用）（可以尝试对应style中选中的style）变更为 line art。SDXL Prompt Styler 来自于 comfyui-art-venture 节点。style 已经更新 旧版本的 sai-line art 变更为 line art。log_prompt 已经更新 旧版本的 false 变更为 Yes 或 No。总的来说，这个是控制出图风格用的。
时间序列预测+NLP大模型新作：为时序预测自动生成隐式Prompt
python12222_的博客
08-29 1339
今天给大家介绍一篇最新的大模型+时间序列预测工作，由康涅狄格大学发表，提出了一种将时间序列在隐空间和NLP大模型对齐，并利用隐空间prompt提升时间序列预测效果的方法。。由于时间序列不同于图像、文本，不同数据集的输入格式不同、分布不同，且存在distribution shift等问题，导致使用所有时间序列数据训练统一的模型比较困难。因此，越来越多的工作开始尝试如何直接使用NLP大模型解决时间序列相关问题。本文的聚焦点也在第二种方法，即使用NLP大模型解决时间序列问题。
有关Prompt Engineering（提示词工程）的一些总结
SAP领域技术博客
08-28 982
本文小结了Prompt Engineering的基本概念和使用原则，并介绍了RICE-F的提问框架。
『大模型笔记』Prompt Engineering具体实施方案综述！
AI新视界
08-27 290
本文深入探讨当前最前沿的prompt engineering方案，结合OpenAI、Anthropic和Google等大模型公司的资料，以及开源社区中宝贵的prompt技巧分享，全面解析这一领域的实践策略。
怎样写好提示词(Prompt) 二
笑笑布丁的博客
08-28 307
在之前的文章中，，今天我们在此基础上，再来探究如何写好提示词的几个小技巧。
[论文笔记] LLM-ICL论文：AI模型对prompt格式&分隔符的敏感性——结构化Prompt格式
心宝的博客
08-27 226
又见惊雷，结构化Prompt格式小小变化竟能让LLM性能波动高达76%，ICLR2024
基于python贫困生资助管理系统带vue前后端分离设计源代码+文档说明+数据库文件
最新发布
09-01
基于python贫困生资助管理系统带vue前后端分离设计源代码+文档说明+数据库文件，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。 基于python贫困生资助管理系统带vue前后端分离设计源代码+文档说明+数据库文件，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。 基于python贫困生资助管理系统带vue前后端分离设计源代码+文档说明+数据库文件，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。 基于python贫困生资助管理系统带vue前后端分离设计源代码+文档说明+数据库文件，含有代码注释，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，就可以使用。基于python贫困生资助管理系统带vue前后端分离设计源代码+文档
基于YOLOv8的路面桥梁墙体裂缝识别python源码+项目说明.zip
09-01
经导师指导并认可通过的高分设计项目。主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者，也可作为课程设计、期末大作业。 <资源说明> 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设或者课设、作业，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96.5分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。
弹性力学基础：应力：应力集中现象.docx
09-01
弹性力学基础：应力：应力集中现象.docx
深度解析Prompt-Tuning：微调新范式与应用探索
在本文中，我们将深度探讨Prompt-Tuning，这是一种全新的微调范式，尤其在深度学习领域，如大型语言模型（LLM）、自动创意生成内容（AIGC）以及如何利用这些模型构建特定领域的应用。作者王嘉宁通过NewBeeNLP公众号...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值