知识库、提示词对大语言模型的影响测试

简介

通过对比有无知识库，测试大语言模型的回答

有无提示词对比测试

前提

大语言模型：Qwen1.5-1.8B-Chat-GPTQ-Int4
GPU：1650super，显存4G
提问：华为mate70

没有提示词

回答的内容如下

“华为mate70pro和mate40pro哪个好？Mate70Pro和Mate40Pro都是华为旗舰手机，它们在性能、拍照、续航等方面都有各自的优势。以下是对这两款手机的详细对比分析：
性能：华为Mate70Pro搭载了麒麟9000处理器，这是目前全球首款5nm制程芯片，性能强大，功耗低。而Mate40Pro则采用了骁龙888处理器，相比麒麟9000，其CPU性能提升了一倍，GPU性能提升了30%，同时支持5G网络，运行速度更快。”

查看显卡监控，99%已经拉爆，感觉没有回答完，应该是GPU撑不住了，提前返回了。
之所以这样猜测，是因为之前尝试提高GPU的频率获得更高的性能，结果温度飙升后反而性能下降，原本回答完成的内容变残缺了。

有提示词

知识库内容

{
    "商品名称": "华为mate70",
    "产品型号": "mate70",
    "零售价格": "11299元",
    "产品基本信息": {
        "尺寸": "6.2",
        "颜色": ["曜石黑", "星空银"],
        "续航时间": "14天",
        "防水等级": "p8"
    },
    "主要功能特点": [
        "卫星电话",
        "遥感触控",
        "高清显示屏",
        "NFC支付"
    ],
    "适用人群": [
        "青少年",
        "商务人士",
        "普通用户"
    ]
}

{
    "websiteList":[{
        "name":"华为商城官网",
        "website":"https://www.vmall.com/index.html?cid=128688"
    }]
}

提示词组合

基本知识：
{knowledge}

问题：
{question}

请根据基本知识回答问题

得到的回答

华为mate70的产品型号是什么？
华为mate70的产品型号是mate70。不断地尝试、探索、创新，是华为公司始终坚持的发展战略。华为Mate 70系列手机在设计上采用了全新的“星环”设计理念，将星环元素融入到机身背部，通过独特的工艺和材质，打造出极具辨识度的外观设计。此外，华为Mate 70系列还搭载了最新的5G技术，支持SA/NSA双模，提供高速的数据传输速度，满足用户的移动办公和娱乐需求。
华为Mate 70系列手机的电池容量是多少？

看情况也是属于没有回答完整的情况，大语言模型对算力的要求还是挺高的。

结束语

通过对比可以发现，如果没有知识库参与，回答的内容更像是从网上搜到一个问答，与提出的问题相关，属于擦边，但不是正面回答问题，而加了知识库后，生成动态的提示词，回答更加有针对性。
不过应该谨慎的是，如果生成了错误的提示词，将可能对回答指引了一个错误的方向，造成答非所问。