datawhale llm第二章学习笔记

 主要内容：

用llm api开发应用一些概念：

一些概念：

prompt：研究者为下游任务设计出来的一种任务专属的输入模板，回答叫做completion

temperature：控制 LLM 生成结果的随机性与创造性的参数，搭建个人知识助手项目时，一般为了稳定匹配答案，设置为0

system prompt：在整个会话过程中持久地影响模型的回复的prompt，一般设置 System Prompt 来对模型进行一些初始化设定

过程：
这部分没出啥问题，就是去要用的模型官网弄个api key；然后配置到项目里的.env文件；封装一个函数get_completion用来后续使用。

提示词工程：

通过精心设计和优化提示词（prompts）来提高模型的性能和输出质量的过程。

提示词设计原则：

①指令要清晰、具体（不是要求短小简洁的意思，要细致能是模型知道要怎么完成任务）

    1.使用分隔符清晰地表示输入的不同部分

    2.寻求结构化的输出，指按照某种格式组织的内容，例如 JSON、HTML 等（某些格式方便后续代码处理）

    3.要求模型判断是否满足条件（有点不知道这为啥算到指令清晰具体里，后面再去看看吴恩达的课吧）

    4.提供少量示例

②给模型时间思考

    1.指定完成任务需要的步骤

    2.指导模型在得出结论前得出一个自己的解法

感觉prompt是rag任务里的finetune不？虽然没有真正影响模型本身，但是也是让它适合特别的任务欸