张 Prompt Tuning--中文数据准确率提升：理性与冲动识别新突破

已于 2025-05-24 09:11:52 修改
阅读量263 收藏 1
点赞数 4
分类专栏： 教学 2024大模型以及算力 2021 AI python 文章标签： prompt
于 2025-05-21 11:30:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38998213/article/details/148107321
版权
教学 同时被 3 个专栏收录
1393 篇文章 ¥199.90 ¥299.90
订阅专栏
2021 AI python
983 篇文章 ¥199.90 ¥299.90
订阅专栏
2024大模型以及算力
791 篇文章 ¥199.90 ¥299.90
订阅专栏

Prompt Tuning–中文数据准确率提升：理性与冲动识别新突破

中文数据，准确率

数据标签三类：冲动21，理性21，（中性设为理性40：说明prompt 修正的有效性）

测试数据：冲动4，理性4，中性设为理性10

在这里插入图片描述
为了可视化做了 词嵌入 空间的相似文本计算，但是实际当loss 比较小的时候，准确率提升了但是反编译到词汇发现还是原文。

在这里插入图片描述

同样的数据 仅使用LLM 3B 进行对比测试，准确率45%

在这里插入图片描述

了解本专栏 订阅专栏 解锁全文
Prompt-Tuning——深度解读一种新的微调范式
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2
weixin_43646592的博客
07-31 2474
LLM微调 | Prefix-Tuning, Prompt-Tuning, P-tuning, P-tuning-v2
论文分析模版：让任何人，任何时间，任何地点，看懂，任何专业，任何论文
最新发布
Debroon
12-02 1820
这次需要明确输入、处理过程、输出及其之间的具体关系，还要解释每一步中涉及的技术和方法，以及它们是如何互相衔接的。追问：对【XXX】所有原文，再做一个概念图，格式：决策树形式+【XXX】代表什么关系。
Prompt-Tuning：深度解读一种全新的微调范式
10-31
Prompt-Tuning是一种新兴的微调方法，它针对预训练语言模型（LLM）进行优化，以适应各种自然语言处理（NLP）任务。这一技术在人工智能生成内容（AIGC）时代尤其受到关注，因为超大规模模型如GPT-3等正逐渐成为对话式...
【论文速读】P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales andTasks
weixin_43457608的博客
10-14 688
提示调优），即只使用冻结的语言模型来调优连续的提示，它大大减少了训练中每个任务的存储和内存使用。然而，在NLU的背景下，先前的工作表明，提示调优对于正常大小的预训练模型表现不佳。我们还发现，现有的提示调优方法不能处理硬序列标记任务，这表明缺乏通用性。我们提出了一个新的经验发现，即适当优化的提示调优可以在广泛的模型尺度和NLU任务中普遍有效。它与微调的性能相匹配，而只有0.1%-3%的调整参数。
有关去中心化算路大模型的一些误区：低带宽互连导致训练速度太慢；小容量设备无法生成基础规模的模型；去中心化总是会花费更多；虫群永远不够大
热门推荐
ZJQ的博客
07-10 5万+
有关去中心化算路大模型的一些误区：低带宽互连导致训练速度太慢；小容量设备无法生成基础规模的模型；去中心化总是会花费更多；虫群永远不够大
神经网络和算力共享结合：基于深度学习的算力资源智能分配机制；一种支持跨云、跨边缘计算平台的协同训练框架；模型自适应优化策略
ZJQ的博客
07-07 4万+
神经网络和算力共享结合：基于深度学习的算力资源智能分配机制；一种支持跨云、跨边缘计算平台的协同训练框架；模型自适应优化策略
算力共享方案
ZJQ的博客
07-15 4万+
平台的整体方案不但包括集群系统网络、存储、安全、可视化设备、计算服务器等硬件算力资源池的构建而且包含算力调度系统、算力交互门户、算力运行基础环境和算力应用等软件系统构建，这是一个庞大而系统化的工程。在算力资源池规划中，根据需求可分为工业设计、AI研发所需的可视化资源池，科学计算资源池和AI训练推理资源池，这些资源池使用统一的存储空间，按照其业务特性进行个性化网络配置，为平台提供算力基础能力。
Tinygrad，llama3，Reward Model
ZJQ的博客
07-25 4万+
根据公开发布的信息，Llama 3是一款文本生成AI，与OpenAI的GPT和Anthropic的Claude模型类似，用户可以编写文本提示，然后Llama 3会生成相应的文本响应。在复杂的实际应用场景中，设计一个合适的奖励模型并非易事，因此研究如何构建有效的奖励模型成为了强化学习领域的关键技术与挑战。总的来说，Tinygrad是一个轻量级但功能强大的深度学习框架，它以其简洁的设计和易用性吸引了众多开发者的关注。Llama 3是一个“开放权重”模型，意味着模型本身是开源的，提供了一定程度的透明度。
Megatron-LM在训练过程中怎么保证参数传递并保证每块GPU都在工作
ZJQ的博客
07-24 4万+
Megatron-LM通过数据并行、张量并行和流水线并行等多种并行策略的综合运用，确保了训练过程中每块GPU都在工作，实现了高效的并行训练。这种分布式训练框架特别适用于训练超大规模的语言模型，如GPT-3等。
区块链技术和系统；ZKRollup ；区块链交易打包和审查
ZJQ的博客
07-19 4万+
区块链技术作为一种去中心化、不可篡改且高度安全的分布式账本技术，近年来在统等多个领域展现出了巨大的应用潜力。：熟悉区块链的基本概念，如等核心技术。能够解释区块链如何工作，以及它的去中心化、透明性和安全性的基本原理。：了解并实践过至少一种或多种主流区块链平台，如等。熟悉这些平台的特性、开发环境、交易模型、智能合约编写语言（如Solidity）等。：能够，理解其在区块链上自动执行合约条款的重要性。了解智能合约的安全隐患，如重入攻击、时间戳依赖等，并知道如何避免这些问题。
算力共享：环形结构的算力分配策略
ZJQ的博客
07-25 4万+
因此，在这个例子中，节点将首先根据它们的内存大小进行降序排序，如果内存大小相同，则根据节点ID进行降序排序（尽管在内存大小不同的情况下，节点ID的比较通常不会影响最终排序结果）。是基于前一个分区的结束位置更新的，并且每个分区的结束位置都是基于内存比例计算的，因此所有分区的总和可能不会恰好等于 1（即整个资源池的比例）。由于元组在Python中是按位置进行比较的，因此当用作排序关键字时，会首先比较元组的第一个元素（内存大小），如果两个元素的内存大小相同，则会比较第二个元素（节点ID）。参数指定了排序的方向。
算力共享中数据切片：按照神经网络层数；算力共享-策略
ZJQ的博客
07-24 2万+
目录dataclasses是什么dataclasses的主要特性和用法包括：示例代码算力共享中数据切片：按照神经网络层数算力共享-策略详细说明：使用场景：算力共享中，任务分片后，是串行执行还是并行执行1. 并行执行的优势2. 串行执行与并行执行的区别3. 算力共享中的任务分片与并行执行按照神经网络层数分片，怎么并行执行而不影响模型参数准确率，尤其在模型训练过程中1. 数据并行与模型并行结合数据并行模型并行2. 确保参数一致性3. 监控和调整4. 选择合适的优化算法5. 验证和测试6. 注意事项参数服务器或A
超算网络体系架构-资源层-平台层-服务层-应用层
ZJQ的博客
07-16 2万+
提供灵活的计费策略，对机时类、容量类、应用类、服务类等资源进行分类和聚合,提供固定价格、阶梯价格等计费方式;提供线上线下等多种资源购买方式，支持用户在线支付;支持平台与多中心之间、平台与商户之间、平台与个体开发者之间等的结算机制;建立交易结算体系，实现跨地域、跨运营主体的结算通道。
揭秘线程控制的两大法宝：sleep()与wait()，你真的了解它们的区别吗？
ZJQ的博客
04-24 1万+
都用来进行线程控制,他们最大本质的区别是:sleep()不释放同步锁,wait()释放同步缩.； sleep()是让某个线程暂停运行一段时间,其控制范围是由当前线程决定,也就是说,在线程里面决定.好比如说,我要做的事情是 "点火->烧水->煮面",而当我点完火之后我不立即烧水,我要休息一段时间再烧.对于运行的主动权是由我的流程来控制. 而wait(),首先,这是由某个确定的对...
春考PS相关知识点
ZJQ的博客
02-24 1万+
说明：总结并解释ps相关知识点，是记忆更加深刻细致 目录 色彩深度 色深单位 8位（8 bit） 图像输出分辨率 dpi与ppi区别 图像的颜色模式 Photoshop通道 色彩深度 色彩深度（Color Depth，简称色深），是用 位（bit）数来表示数码影像色彩数目的单位。 色深单位 色彩深度是用「n位颜色」（n-bit colour）来说明的。若色彩深度是n位，即有2n种颜色选择，而储存每像素所用的位计数就是n。常见的有： 1位、2位、3位、4位、5位、6位、7位、8位、9
Gemma的简单理解；Vertex AI的简单理解，与chatGpt区别
ZJQ的博客
07-17 1万+
Gemma定义：Gemma是谷歌开源的一款大语言模型，基于Gemini架构，提供不同参数规模的版本，如20亿和70亿参数版本。功能：专注于文本生成与理解，可用于内容创作、对话系统、知识问答与推理等多种应用场景。Vertex AI定义：Vertex AI是谷歌提供的一个训练和部署机器学习模型的平台，集成了谷歌云的多项服务。功能：提供从数据准备、模型训练、评估到部署的完整MLOps（机器学习运维）工具集，支持开发者构建、训练和部署高质量的机器学习模型。ChatGPT定义。
c语言闰年相关计算
ZJQ的博客
04-02 1万+
1、闰年计算方法： 非整百年：能被4整除的为闰年。（如2004年就是闰年,2001年不是闰年） 整百年：能被400整除的是闰年。(如2000年是闰年，1900年不是闰年) 2、闰年： 凡阳历中有闰日（二月为二十九日）的年，闰余（岁余置闰。阴历每年与回归年相比所差的时日）。 ...
大语言模型训练过程中，怎么实现算力共享，采用什么分片规则和共享策略
ZJQ的博客
07-24 7700
在大语言模型训练过程中，实现算力共享、采用适当的分片规则和共享策略是提高训练效率和降低资源成本的关键。通过分布式训练框架、资源调度系统、网络通信优化以及灵活的分片规则和共享策略，可以充分发挥集群中GPU资源的潜力，加速模型的收敛过程。定义与功能NCCL是一个针对多GPU并行计算优化的通信库，利用NVIDIA GPU之间的快速互联技术（如NVLink和PCIe）来实现高速的数据传输和同步。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZhangJiQun&MXP

等到80岁回首依旧年轻

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值