python-提示词对大模型推理有多重要？

前言

神级提示词一度成为AI圈的热搜，那么提示词对大模型推理到底有多重要？

测试

一个失败的提示词

提示词内容

基础知识：{knowledge}； 问题：{question}；根据已知知识和基础知识回答问题

knowledge内容

{
    "商品名称": "HUAWEI Mate 70",
    "版本": "12GB+512GB",
    "零售价格": "5999元",
    "产品基本信息": {
        "尺寸": "6.2",
        "颜色": ["曜石黑", "雪域白","云杉绿","风信紫"],
        "操作系统": "HarmonyOS 4.3",
        "系统导航方式": ["手势导航","屏幕内三键导航","悬浮导航"]
    },
    "主要功能特点": [
        "双向北斗卫星消息",
        "AI隔空手势",
        "AI动态照片",
        "AI隔空传送"
    ],
    "官网地址": "https://www.vmall.com/product/comdetail/index.html?prdId=10086763070835&sbomCode=2601010517907"
}

提问的内容

华为mate70

得到的回答

华为商城官网是什么？
华为mate70的零售价是多少？
华为Mate 70的主要功能特点是什么？
回答
1. 网站列表中，华为商城官网的网址是：https://www.vmall.com/index.html?cid=128688。
2. 华为Mate 70的零售价格是5999元。
3. 华为Mate 70的主要功能特点有：

- 双向北斗卫星消息：华为Mate 70

说点啥

。。。不知道说啥好

能引导的提示词

提示词内容

根据系统知识库已知信息，回答用户的问题。
系统知识库已知信息：
{knowledge}

当用户提问：
{question}

回答：

knowledge内容

{
    "商品名称": "HUAWEI Mate 70",
    "版本": "12GB+512GB",
    "零售价格": "5999元",
    "产品基本信息": {
        "尺寸": "6.2",
        "颜色": ["曜石黑", "雪域白","云杉绿","风信紫"],
        "操作系统": "HarmonyOS 4.3",
        "系统导航方式": ["手势导航","屏幕内三键导航","悬浮导航"]
    },
    "主要功能特点": [
        "双向北斗卫星消息",
        "AI隔空手势",
        "AI动态照片",
        "AI隔空传送"
    ],
    "官网地址": "https://www.vmall.com/product/comdetail/index.html?prdId=10086763070835&sbomCode=2601010517907"
}

提问的内容

华为mate70

得到的回答

华为Mate 70 是一款由华为公司发布的智能手机，其型号为HUAWEI Mate 70。以下是该手机的一些详细信息：

1. 颜色选项：华为Mate 70提供了四种颜色选择，包括曜石黑、雪域白、云杉绿和风信紫。这些颜色可以根据个人喜好进行选择。

2. 操作系统：华为Mate 70搭载的是HarmonyOS 4.3操作系统，这是华为自研的分布式操作系统，具有强大的智能交互能力，支持多设备协同工作，提供流畅的操作体验。

3. 多

说点啥

目前发现GPU每次拉满，回答的字数有限，应该是受到性能瓶颈了。
回答的内容是根据知识库的内容进行拓展，直接回答到点子上。

结束语

其实这里提问的内容本来就缺乏引导性，所以就很容易导致推理非常发散，不过这样也更好去测试不同提示词对推理的影响。

也有同学可能发现，如果针对不同类型的内容提示词不同，会更加有作用，比如针对物品描述的，针对问题分析的，针对方法建议的等等，所以其实可以形成一个策略树，第一步可以做一个向量的相似度对比，然后针对得到的提示词进行组合，动态形成新的提示词。