为什么要finetune
1、什么是fine-tuning?
fine-tuning就是将通用大模型,通过特定数据的训练,将其调试成为具有某项专业功能的大模型,例如GPT-3通过微调之后,成为ChatGPT;GPT-4经过微调之后,成为GitHub Copilot,PCP通用医疗模型,经过微调之后,可以成为心肺专家或者皮肤专家
2、微调对模型做了什么?
允许您向模型中放入比提示所需数据更多的数据
获取模型以学习数据,而不仅仅是获取对数据的访问权限
3、finetune的优点
将模型导向更一致的输出
减少幻觉
根据特定用例自定义模型
过程与模型早期的训练类似
4、提示工程和微调的对比
提示工程
优点:
- 不需要起始数据
- 前期投入较少
- 不需要技术知识
- 通过RAG连接数据
缺点:
- 有比较少的数据能吻合
- 数据匹配度不够
- 生成的答案可能是通过胡编乱造的
- RAG并不能很好的起到作用,或者会得到错误的数据
微调
优点:
- 几乎无限的数据拟合
- 能够学习到新的信息
- 纠正错误信息
- 如果模型较小,则成本更低
- 也用到了RAG
缺点
- 需要高质量的数据
- 前期投入计算成本较高
- 需要一些技术、数据方面的能力<