大模型项目心得

AI摘要项目

开源模型能力调研：Llama3、蓝心、文心等；

项目名称：《XXX AI摘要》

测试机器性能考察：tesla-v100 32G显存

刚好可以跑起来float32精度的模型参数

核心工作：prompt工程

prompt设计；
提示：
1、限定身份；
2、设置步骤，拆分需求一步一步引导大模型寻找最终的结果；
3、指定输出格式，最好搞几个示例demo；
4、跑若干实例和竞品demo做对比；
5、找到效果接近或超过竞品的prompt，在开源大模型上测试；
过程中有很多技巧，需要亲自摸索；
当然如果最终我们还是选择了微调，显然大模型在摘要方面的能力被激活，摘要效果比之前明显要好，目前已经在1401通道做测试；
寻找更优的prompt及开源大模型调参

。。。（此处省略一万个字）

主要还是要观察每一个prompt的测试效果；
模型参数调整，本次重点调整参数包括：temp和topk

搭建可视化工具方便查看prompt效果

简单示例：

其他工作，剩下就是老一套了，太阳底下没有新鲜事儿；