如何调试QWEN-1.8B模型的prompt来达到预期效果

最新推荐文章于 2024-09-13 01:53:57 发布
最新推荐文章于 2024-09-13 01:53:57 发布
阅读量347 收藏
点赞数 2
文章标签： prompt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014497669/article/details/141193060
版权

这一段时间都在学习与预研大模型技术,目前采用的模型是用hugging-face上的Qwen-1.8B参数级别的模型, 本地部署启动, AMD 630 16G显卡,启动与推理都没什么压力

 这几天碰到一个比较有意思的问题, 我想通过使用模型的NLP能力来进行意图分析,通过构造提示词模版来达到预期效果: 

如图, 想让大模型按照我的提问来返回对应的答案,在实际使用场景中, 正确率只有50-60%左右,

很多时候会与模版中的希望返回的答案不匹配,同样的问题在通义千问的官网的回答基本都是准确的:

不知道有没有了解的大佬们看下到底是什么原因引起的这种问题,是要调整prompt还是要调整模型的参数?

zrx林夕
关注
大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例
weixin_42878111的博客
05-23 1274
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例, LLaMA-Factory是一个专门用于大语言模型微调的框架，它支持多种微调方法，如LoRA、QLoRA等，并提供了丰富的数据集和预训练模型，便于用户进行模型微调。通义千问Qwen1.5是阿里巴巴推出的一款大型语言模型，具有多语言处理能力和较强的生成能力。
开源模型应用落地-qwen1.5-7b-chat-LoRA微调-Firefly（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
04-02 1万+
使用开源的Firefly大模型训练项目微调qwen1.5-7b-chat模型
qwen指令微调中对话样本是否需要加入指令分析
jilinwanjia1111的博客
04-23 903
当训练一个具有业务的功能的大模型时，有的时候不能直接通过prompt就能达到很好的效果，需要准备一些指令微调数据，让模型能够训练学习到如何使用我们的业务的工具，更好的使用我们的工具，而在模型进行指令微调过程中，往往目标是不仅仅让模型有function calling的能力，也需要其他的配套能力，比如自我认知、对话等等，所以训练数据不仅仅局限于指令微调数据，也需要其他一些数据，例如自我认知数据、多轮对话数据等等。
编写高质量Prompt的六个优化技巧
ext_lj_kefu的博客
01-26 1946
可以是一种有趣且有效的方法，通过这种方式，你可以引导大模型生成更具特定性和一致性的回答，在提示词中你可以清晰地定义所设定的角色特征，包括身份、职业、背景等。除此之外，你甚至可以通过假设条件来减少大模型回复不准确的概率，比如你可以告诉大模型，如果你的数据存在问题，例如数据不准确、缺乏时效性等，那么可以给出否定答复，例如：对不起，目前没有相关数据可供参考。例如大语言模型在数学推理方面的表现不是太好，但是如果你在提问的时候，加入思维链的关键词，比如告诉模型，你需要。比如，我们使用灵境矩阵平台的智能体。
七天入门LLM大模型 | 2：提示词工程-Prompt Engineering
Langchain的博客
06-27 1270
前一天我们讲到：prompt（提示词）是我们和LLM互动最常用的方式，我们提供给LLM的Prompt作为模型的输入，并希望LLM反馈我们期待的结果。
prompt设计之调用qwem,internlm,chatglm等模型代码方法（启智平台）
qq_52700183的博客
10-25 831
*通义千问-7B（Qwen-7B）**是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。本文旨在通过启智平台完成大模型的调用，由于本地环境受限无法运行成功，可以利用启智社区平台白嫖GPU算力，实现效果代码，代码由github官方文档获得：实现效果如下：可以看出执行代码之后，输出会根据问题继续续写。
[大模型]Qwen-1_8B-chat CPU 部署
FL1623863129的博客
04-18 1158
本文介绍了在 Intel 设备上部署 Qwen 1.8B 模型的过程，你需要至少16GB内存的机器来完成这项任务，我们将使用英特尔的大模型推理库来实现完整过程。Bigdl-llm 是一个在英特尔设备上运行 LLM（大语言模型）的加速库，通过 INT4/FP4/INT8/FP8 精度量化和架构针对性优化以实现大模型在 英特尔 CPU、GPU上的低资源占用与高速推理能力（适用于任何 PyTorch 模型）。
[大模型]Qwen1.5-7B-chat Lora 微调
FL1623863129的博客
04-11 3079
LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。task_type：模型类型：需要训练的模型层的名字，主要就是attention部分的层，不同的模型对应的层的名字不同，可以传入数组，也可以字符串，也可以正则表达式。rlora的秩，具体可以看Lora原理lora_alphaLora alaph，具体作用参见Lora原理Lora的缩放是啥嘞？当然不是r（秩），这个缩放就是, 在这个LoraConfig中缩放就是4倍。
【你的第一个大模型部署，Qwen1_8B-Chat-Int8，8G甚至4G显卡即可运行】
weixin_45005570的博客
01-16 1484
LLM之QWEN1.8B本地部署
开源模型应用落地-Qwen1.5-MoE-1/3的激活参数量达到7B模型的性能
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-20 6409
使用Qwen1.5-MoE-A2.7B，体验更快的推理速度
开源模型应用落地-qwen模型小试-调用qwen1.5新模型-进阶篇（六）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
02-26 1740
Qwen1.5系列模型的新特性及使用方式
Qwen1.5原理
随遇、随缘的博客
04-14 1748
使用模型进行微调，主要了解该模型如何构造 prompt，尤其对单轮对话和多轮对话的处理方式，只有了解并掌握其原理，才能根据需要做出相应的调整。下面将介绍微调时如何构造 prompt。
qwen大语言模型基于vllm部署
weixin_41687218的博客
11-26 2689
将上述代码按顺序组合在一个py文件中。
阿里通义千问Qwen1.5使用教程
CJK's Blog
03-05 3097
下载各个版本LLM的文件，然后存入qwen文件夹，每个文件夹下各子文件夹即代表各个版本的llm，模型文件等存储在对应版本的子文件夹下。XXX-GPTQ-Int4的意思是对模型进行了精度为Int4的量化，虽然实测降低了一点速度但是显著降低了占用的显存。python版本为3.8，cuda(cudatoolkit)版本为11.8（版本太低运行时会报错）web网页端我使用了比较热门的。
Prompt书写介绍及案例展示----LLM
weixin_49251565的博客
01-26 1238
prompt书写及一些示例
LLM系列 | 26：阿里千问Qwen模型解读、本地部署
热门推荐
ljp1919的专栏
11-04 1万+
Qwen 是一个全能的语言模型系列，包含各种参数量的模型，如 Qwen（基础预训练语言模型，即基座模型）和 Qwen-Chat（聊天模型，该模型采用人类对齐技术进行微调）。基座模型在众多下游任务中始终表现出卓越的性能，而聊天模型，尤其是使用人类反馈强化学习（RLHF）训练的模型，具有很强的竞争力。聊天模型Qwen-Chat拥有先进的工具使用和规划能力，可用于创建agent应用程序。即使在使用代码解释器等复杂任务上，Qwen-Chat与更大的模型相比也能表现出极具竞争力的性能。
LLMs之SuperPrompt：SuperPrompt的简介、使用方法、案例应用之详细攻略
最新发布
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
09-13 399
​ LLMs之SuperPrompt：SuperPrompt的简介、使用方法、案例应用之详细攻略 目录 SuperPrompt的简介 SuperPrompt的使用方法 SuperPrompt的案例应用 SuperPrompt的简介 SuperPrompt项目是一个开源项目，旨在通过设计特定的提示词来帮助我们更好地理解AI代理。该项目经过数月研发，目前仍处于持续优化阶段，即“永久测试版”。 GitHub地址：GitHub - NeoVertex1/SuperPrompt: SuperPrompt
解密AI创作：提升Prompt提示词的提问技巧
2301_78944833的博客
09-12 989
提示词工程一句话的解释组织有规律的关键词，抽取有用的信息。提示词是如何影响AI的输出结果?从以上可以看出，对AI输入不同的提示词，会显著影响AI回答问题的角度和专业度。精心设计的提示词能够引导AI更准确地理解问题背景，从而以更专业的视角和更贴切的答案进行回应。反之，模糊或不当的提示词则可能导致AI偏离主题，降低回答的专业性和准确性。因此，提示词工程在优化AI输出、提升用户体验方面扮演着至关重要的角色。
F:\ollama>docker exec -it ollama ollama run qwen:1.8b-chat，下载的话会下载到那个位置
05-29
在Docker中执行的命令和下载的文件通常都在Docker容器内部。根据您提供的命令，假设您正在运行名为"ollama"的Docker容器，并且在其中运行名为"qwen:1.8b-chat"的应用程序，则下载的文件应该存储在Docker容器内的默认下载目录中。您可以通过进入Docker容器并查看默认下载目录来确认此目录的位置。 可以使用以下命令进入该容器： ``` docker exec -it ollama /bin/bash ``` 然后，您可以使用以下命令查找默认下载目录的位置： ``` cd ~/Downloads ``` 请注意，这是默认下载目录的一个可能位置。具体位置可能会因为操作系统、应用程序等因素而有所不同。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zrx林夕

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值