Prompt 设计与大语言模型微调，没有比这篇更详细的了吧！

最新推荐文章于 2024-09-27 14:41:01 发布
最新推荐文章于 2024-09-27 14:41:01 发布
阅读量966 收藏 5
点赞数 1
分类专栏： 大模型理论与实战 大模型 文章标签： prompt 语言模型 人工智能 chatgpt 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_78285120/article/details/134219101
版权

本文主要介绍了Prompt设计、大语言模型SFT和LLM在手机天猫AI导购助理项目应用。

ChatGPT基本原理

“会说话的AI”，“智能体”

图片

简单概括成以下几个步骤：

  1. 预处理文本：ChatGPT的输入文本需要进行预处理。

  2. 输入编码：ChatGPT将经过预处理的文本输入到神经网络中进行编码处理，使用的是多层transformer编码器结构。

  3. 预测输出：ChatGPT通过对输入进行逐个token预测，输出下一个最可能出现的token序列，使用的是softmax函数进行概率预测。

  4. 输出解码：ChatGPT将预测的token序列作为输入，经过多层transformer解码器结构进行解码处理，最终输出模型的回答。

  5. 重复步骤3和4：ChatGPT在处理输入时会持续输出预测的token序列，直到遇到停止符号或达到最大输出长度为止。

算法内核——Transformer

由 Encoder 和 Decoder 两个部分组成

图片

技术交流

建了大模型技术交流群！想要进交流群、获取原版资料的同学，可以直接加微信号：dkl88194。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、添加微信号：dkl88194，备注：来自CSDN + 技术交流
方式②、微信搜索公众号：Python学习与数据挖掘，后台回复：加群

在这里插入图片描述

Prompt设计

▐ 什么是prompt？

图片

看来跟我今天想分享的不太一样，加个具体的限定条件，然后呢？

图片

这下对了！

Prompt的不同能直接决定模型是否能按我们的预期输出

图片

▐ prompt基本技巧

1.清晰，明确，避免模糊的词语

在这里插入图片描述

2.用###或者"""或者<>或者’''将指令和待处理的内容分开

在这里插入图片描述

3.指定输出格式

在这里插入图片描述

4.角色扮演，用扮演、担任等这一类词汇告诉大模型在对话中特定的人格或角色
在这里插入图片描述

图片

▐ Few shot进阶

启用上下文in-context learning学习，在prompt中提供几个样例（这里只有一个例子one-shot）

图片

▐ Chain of Thought（Cot）

思维链（CoT）是一种改进的提示策略，用于提高 LLM 在复杂推理任务中的性能，如算术推理、常识推理和符号推理。

▐ Search API & GPT

图片

"""
网页搜索结果:
{web_results}

当前日期:{current_date}

指令: 用给定的网络搜索结果，总结回复用户query

用户Query: {query}

回复语言: {reply_language}
"""

私有化知识库（嵌入式向量检索+LLM）

图片

▐ ReAct框架

大模型Agent功能，大模型会自己分析问题，选择合适的工具，最终解决问题。

ReAct方式的作用就是协调LLM模型和外部的信息获取，与其他功能交互。如果说LLM模型是大脑，那ReAct框架就是这个大脑的手脚和五官。

关键概念描述
Thought由LLM模型生成，是LLM产生行为和依据
ActAct是指LLM判断本次需要执行的具体行为
ObsLLM框架对于外界输入的获取。
尽可能回答以下问题，可以使用工具：
{工具名和描述}
使用以下格式回答：
问题：你必须回答的问题

思考：你应该一致保持思考，思考要怎么解决问题
动作：{工具名}。每次动作只选择一个工具，工具列表{工具名和描述}
输入：{调用工具时需要传入的参数}
观察：{第三方工具返回的结果}

【思考-动作-输入-观察】循环N次

思考：最后，输出最终结果
最终结果：针对原始问题，输出最终结果

开始！
问题：上海最高楼是多少？它楼层高度的平方是多少？
思考：我需要知道上海最高楼，然后进行计算。
动作：搜索API
观察：632米
思考：我需要计算上海最高楼高度的平方，然后得到结果。
动作：计算器
输入：632^2
观察：399424
思考：
最终结果：上海最高楼632米，它的高度平方是399424

大模型SFT（supervised fine tuning）

预训练 VS 微调

预训练：模型以一种无监督的方式去训练，学习根据前文生成下一个单词。在海量数据下进行，让大模型具备语言理解和生成能力。

指令微调：有监督的方式进行学习，包括任务描述，输入等，去预测答案。目标是如何跟人类指令对齐，让模型更加适应专业化领域场景

图片

业务数据从哪来？

  1. 人工标注

  2. 种子数据 + self-instruct（gpt 3.5构造）

图片

▐ P-tuning

动机：Fine-tuning需要微调整个预训练语言模型，且额外添加了新的参数，而Prompting则可以将整个预训练语言模型的参数保持固定，而只需要添加prompt来预测结果即可；

图片

P-tuning：将Prompt转换为可以学习的Embedding层，并用MLP+LSTM的方式来对Prompt Embedding进行一层处理。

P-tuning V2：每一层都加入可训练的prompts，只对Prompt部分的参数进行训练，而语言模型的参数固定不变。

▐ LoRA

Low-rank Adaption of LLM，利用低秩适配（low-rank adaptation）的方法，可以在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。在计算资源受限的情况下的弥补方案。

图片

图片

对于不同的下游任务，只需要在预训练模型基础上重新训练AB就可以了，这样也能加快大模型的训练节奏。

▐ LoRA VS 全参数微调

lora的优点在于轻量化，低资源。但缺点很明显，参与训练的模型参数量不多，在百万到千万级别的参数量，实验来看效果比全量微调差一些。

▐ C-Eval评估

C-Eval由上海交通大学，清华大学，爱丁堡大学共同完成，是构造了一个覆盖人文，社科，理工，其他专业四个大方向，52 个学科（微积分，线代 …），从中学到大学研究生以及职业考试，一共 13948 道题目的中文知识和推理型测试集。

图片

C-Eval认为：一个模型要强，首先需要广泛的知识，然后在知识的基础上做推理，这样才能代表一个模型可以做复杂且困难的事情。

此外，还有一些公开评测集，用于评估模型在学科综合、语言能力、推理能力等。

图片

手机天猫AI导购助理项目落地应用

项目背景

“AI形象”璇玑作为个人专属导购员，在交互式对话中进行用户理解、导购商品。

定位：交互式搜索导购产品

图片

▐ 算法框架

图片

语料收集

  1. 电商种子问题收集：端内会话日志、收集手机天猫sug种子问题：

  2. 问题泛化：明确场景问题定义，通过手猫核心query、种子问题等，设计prompt，通过gpt补充收集问题；

  3. 人工标注: 标注高质量语料；

  4. self-instruction：通过prompt(few-shot)方法根据已有人工标注扩充新的instruction。通过gpt获取更多训练语料，解决标注人效瓶颈。

模型训练

base模型选型

中文评测

图片

数学评测

图片

训练平台：AOP/星云/PAI

基于达摩院模型基座qwen-14B，针对璇玑产品，新增电商领域的训练数据，增强模型的电商领域知识、安全、导购等能力。

params="--stage sft \
--model_name_or_path /data/oss_bucket_0/Qwen_14B_Chat_ms_v100/  \
--do_train \
--dataset_dir data \
--dataset xuanji \
--template chatml  \
--finetuning_type  full  \
--output_dir file_path  \
--overwrite_cache \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 4 \
--lr_scheduler_type cosine  \
--logging_steps 5 \
--save_strategy epoch \
--save_steps 10000 \
--learning_rate 2e-6 \
--num_train_epochs 3.0 \
--warmup_ratio 0.15 \
--warmup_steps 0 \
--weight_decay 0.1 \
--fp16 ${fp16} \
--bf16 ${bf16} \
--deepspeed ds_config.json \
--max_source_length 4096 \
--max_target_length 4096 \
--use_fast_tokenizer False \
--is_shuffle True \
--val_size 0.0 \
"

pai -name pytorch112z
-project algo_platform_dev
-Dscript='${job_path}'
  -DentryFile='-m torch.distributed.launch --nnodes=${workerCount} --nproc_per_node=${node}  ${entry_file}'
-DuserDefinedParameters=\"${params}\"
-DworkerCount=${workerCount}
-Dcluster=${resource_param_config}
-Dbuckets=${oss_info}${end_point}

训练中间过程

图片

模型部署&调用

  • 达摩院千问

模型基于allspark做量化加速，部署在dashscope平台，机器为双卡A10。

# For prerequisites running the following sample

import dashscope
from dashscope import Generation
from http import HTTPStatus

dashscope.api_key = 'your-dashscope-api-key'

response_generator = Generation.call(
    model='model_name',
    prompt=build_prompt([
        {'role':'system','content':'content_info'},
        {'role':'user', 'content':'query'}
    ]),
    stream=True,
    use_raw_prompt=True,
    seed=random_num
)

for resp in response_generator:
    # when stream, you need to get the result through iteration
    if resp.status_code == HTTPStatus.OK:
        print(resp.output)
    else:
        print('Failed request_id: %s, status_code: %s, \
                  code: %s, message:%s' %
              (resp.request_id, resp.status_code, resp.code, resp.message))

# Result: 
# {"text": "汝亦来", "finish_reason": "null"}
# {"text": "汝亦来哉，幸会。\n\n汝可", "finish_reason": "null"}
# {"text": "汝亦来哉，幸会。\n\n汝可唤我一声「百晓生", "finish_reason": "null"}
# {"text": "汝亦来哉，幸会。\n\n汝可唤我一声「百晓生」，不知可否？", "finish_reason": "null"}
# {"text": "汝亦来哉，幸会。\n\n汝可唤我一声「百晓生」，不知可否？", "finish_reason": "stop"}
  • Whale私有化

部署发布：

图片

模型管理：

图片

from whale import TextGeneration
import json

# 设置apiKey
# 预发或线上请勿指定base_url
TextGeneration.set_api_key("api_key", base_url="api_url")

# 设置模型生成结果过程中的参数

config = {"pad_token_id": 0,  "bos_token_id": 1,  "eos_token_id": 2,  "user_token_id": 0,  "assistant_token_id": 0,  "max_new_tokens": 2048,  "temperature": 0.95,  "top_k": 5,  "top_p": 0.7,  "repetition_penalty": 1.1,  "do_sample": False,  "transformers_version": "4.29.2"}
prompt = [
    {
      "role": "user",
      "content": "content_info"
    }
]

# 请求模型
response = TextGeneration.call(
    model="model_name",
    prompt=json.dumps(prompt),
    timeout=120,
    streaming=True,
    generate_config=config)


# 处理流式结果
for event in response:
    if event.status_code == 200:
        print(event.finished)
        if event.finished is False:
            print(event.output['response'], end="")
    else:
        print('error_code: [%d], error_message: [%s]'
              % (event.status_code, event.status_message))

  • EAS

借助EAS，将代码和模型文件分离进行LLM服务部署，基于http协议提供流式输出。模型存储在oss上。

▐ 模型评测

基础能力评测：在公开评测集上评估模型中英文、推理、知识问答能力表现。

业务评测：以业务人工评测为主，每个大模型任务150个评测问题。

体验问题：埋点日志获取，定期review。

参考链接

1.https://www.semanticscholar.org/paper/Attention-is-All-you-Need-Vaswani-Shazeer/204e3073870fae3d05bcbc2f6a8e263d9b72e776

2.https://huggingface.co/Qwen/Qwen-14B-Chat

3.https://github.com/yuanzhoulvpi2017/zero_nlp

4.https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning

5.https://www.bilibili.com/video/BV1jP411d7or/?spm_id_from=333.337.search-card.all.click

6.https://arxiv.org/pdf/2305.08322v1.pdf

7.https://zhuanlan.zhihu.com/p/630111535?utm_id=0

8.https://cdn.baichuan-ai.com/paper/Baichuan2-technical-report.pdf

9.https://github.com/tatsu-lab/stanford_alpaca

大语言模型应用指南：Prompt高效微调
AI天才研究院
05-25 525
大语言模型应用指南：Prompt高效微调 1. 背景介绍 1.1 大语言模型的兴起 近年来,大型语言模型(Large Language Models, LLMs)在自然语言处理(Natural Language Processin
大模型Prompt系列高效微调
aolan123的博客
06-06 1392
国内外目前有很多大语言模型，如GPT3、GPT4、ChatGLM、Llama、Baichuan、PanGu等，在自然语言处理任务中各有千秋。在面对具体的任务时，我们需要对大语言模型在已有的基础上进行，通过相应的监督语料进行训练、微调等，以获得适应下游任务的模型。自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理(NLP)任务中被广泛使用。
【大模型】大模型指令微调的“Prompt”模板_大模型微调数据集格式
最新发布
2401_85373691的博客
09-27 1014
通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。ShareGPT本身是一个与ChatGPT（GPT-4）模型的聊天记录分享平台，它托管了大量由用户挑选的对话数据集，这些聊天记录通常展示的是聊天机器人自然流畅、具有创意的回答。此外还有中文翻译版本。不同的模型对应不同的微调数据集，不同数据集的指令数据形式有所不同。
大语言模型的指令微调（Instruction Tuning）最全综述：从数据集到技术全解析
modi000的博客
02-01 7590
而指令微调是一种通过在包括（指令，输出）对的数据集上进一步训练大型语言模型（LLMs）的过程，以增强LLMs的能力和可控性。指令微调的特殊之处在于其数据集的结构，即由人类指令和期望的输出组成的配对。总的来说，指令微调是有监督微调的一种特殊形式，专注于通过理解和遵循人类指令来增强大型语言模型的能力和可控性。如果按照在模型哪个阶段使用微调，或者根据模型微调的目标来区分，也可以从提示微调、指令微调、有监督微调的方式来。其实，很多领域都有对大模型做指令微调的需求，但是不同领域的指令微调需求可能也有差异。
Prompt设计与大语言模型微调
淘系技术
10-25 3079
本文主要介绍了Prompt设计、大语言模型SFT和LLM在手机天猫AI导购助理项目应用。ChatGPT基本原理“会说话的AI”，“智能体”简单概括成以下几个步骤：预处理文本：ChatGPT的输入文本需要进行预处理。输入编码：ChatGPT将经过预处理的文本输入到神经网络中进行编码处理，使用的是多层transformer编码器结构。预测输出：ChatGPT通过对输入进行逐个token预测，输出下一个...
详解大模型微调数据集构建方法(持续更新)
热门推荐
herosunly的博客
06-05 15万+
本文详细介绍了大模型微调数据集构建方法，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 微调数据集构建方法 2.1 方法一 2.2 方法二 2.3 方法三 2.4 方法四
大模型指令微调概述，大模型微调简单介绍ppt
10-30
而第四范式则是预训练模型与prompt技术的结合，例如BERT与prompt的使用，这进一步减少了训练数据的需求，使得模型能够更高效地学习新任务。 大模型微调，也称为指令微调（Instruction Tuning），是针对大型语言模型...
【LLM】Prompt微调
m0_53328239的博客
01-16 1263
在机器学习中，Prompt通常指的是一种生成模型的输入方式。生成模型可以接收一个Prompt作为输入，并生成与该输入相对应的输出。Prompt可以是一段文本、一个问题或者一个片段，用于指导生成模型生成相应的响应、续写文本等。
大模型微调-方法(2)：Prompt Tuning：深度解读一种新的微调范式
u013250861的博客
05-10 512
这绝对是我看过最全面细致的Prompt Tuning技术综述之一，全文共五万多字，看完之后你一定发出一样的感叹！
大模型的指令微调
weixin_46103454的博客
07-12 726
通过指令微调，大模型能够获得较好的指令遵循与任务求解能力，无需下游任务的训练样本或者示例就可以解决训练中未见过的任务。此外，还可以引入适当数量的实例作为上下文示例一起作为模型的输入，提升模型的实际性能，缓解模型对于指令格式的敏感性。在指令微调数据集中引入思维链数据，通过这种混合指令数据微调后的模型在多种下游任务中都取得了较好的效果，包括需要多跳推理能力的任务以及不需要多跳推理的任务。例如，对于不同的微调阶段，训练中可以逐渐增加指令的难度和复杂性，从而逐渐提高大模型遵循复杂指令的能力。②多阶段指令数据微调。
Prompt-Tuning——深度解读一种新的微调范式
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
【大模型系列】指令微调
靖待的CSDN博客
04-23 4875
大模型系列之指令微调笔记。
大语言模型Lora参数微调过程（附完整代码）
qq-1343330453
01-09 1473
大语言模型微调过程
【LLM系列之指令微调】长话短说大模型指令微调的“Prompt”
2401_82469710的博客
05-07 1063
大家有没有分析过 prompt对模型训练或者推理的影响？之前推理的时候，发现不加训练的时候prompt，直接输入模型性能会变差的，这个倒是可以理解。假如不加prompt直接训练，是不是测试的时候不加prompt也可以？还有一个就是多轮prompt和单轮prompt怎么构造的问题？好多模型训练方式不统一 包括指令数据形式有所不同，选择困难症又来了。。
【LLM指令微调】长话短说大模型指令微调的“Prompt”
2401_82469710的博客
07-17 759
那高质量如何定义呢？（3）另外通过实验发现，如果模型微调的时候使用模板，那么推理的时候应该也使用模板，否则效果会影响，直观上就是生成效果不理想，生成比较短，甚至“驴唇不对马嘴”；或者有继续微调比较合适的方案也可以，不损失之前模型的效果（或者损失比较小），目前可以尝试Lora或者Qlora的方式微调底座模型，然后将训练好的Lora权重合并到原始模型，这样可以减轻多次微调对模型的影响。之前推理的时候，发现不加训练的时候prompt，直接输入模型性能会变差的，这个倒是可以理解。代码语言：javascript。
（21-3-02）基于Gemma 2B模型的智能文本摘要系统：聊天模块(2)Few-Shot Prompting+关键参数总结
码农三叔
05-24 1157
到目前为止，在生成文本摘要的过程中用到了几个关键的管道参数，这些参数对于控制模型输出的质量和风格至关重要。do_sample：当设置为 True 时，这个参数允许从整个词汇表的概率分布中选择下一个令牌的解码策略。与 num_beams 结合使用，可以控制不同的解码策略。您选择了 True 和 num_beams=1（默认值），这是多项式采样。这种策略允许模型在生成文本时有更多的随机性，但仍然保持了一定程度的多样性。temperature：这个参数控制生成文本时的随机性。
大模型微调原理与代码实战案例（一）：Prompt Tuning
2301_78285120的博客
09-05 1153
本文对 Prompt Tuning 的基本原理进行了简述；同时，讲解了使用 Prompt Tuning 技术进行模型训练及推理。下文将对 P-Tuning 微调技术进行实战讲解。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值