本地大模型【llm】运行时间过长，效率差，时间复杂度过于复杂的解决方案

首先声明：

这不是正统的解决方案，但能解决我的问题！，希望能给其他科研人员有启发！

正统解决方案请看它们，好好研究：
无穹Paper | 如何加速大模型推理？一图读懂大语言模型高效推理技术
大模型推理加速调研（框架、方法）
大模型高效推理 I 推理技术框架总结
“三板斧”解决大模型推理“慢”问题
大模型推理速度飙升3.6倍，「美杜莎」论文来了，贾扬清：最优雅加速推理方案之一

我的解决方案（换模型）：

我遇到的问题

我大概要跑100万个数据，但是打开本地大模型看，然后推理一下需要大概30S，算下来我得连续跑366天才能把任务跑完。

所以我进行了如下分析：

• 我为什么要运行本地大模型：
  • 为了省钱。
  • 为了多测试。

但是实验过程中我发现，本地大模型，它：

• 参数量低，调prompt十分麻烦
• 参数量低，任务需要拆解成好几个，运行次数增多。

所以我只要换一个参数量高，又便宜，可以不用任务拆解的大模型就可以了，这样运行次数更少（任务分解少），推理次数更快，精度效果还更高。同时调prompt还更方便。

所以我换了如下大模型： gpt-4o-mini，其花费比gpt-4o少33倍，同时效果没有差很多。推理速度比本地大模型快非常多。
（注意，本文完成于8/2号，4-o-mini刚出不到半个月，短期内肯定能给大家提供帮助，等大家都知道了，可能就没帮助啦！）