AIGC Fine-tuning笔记

吴恩达Fine-tuning LLMS课程链接

为什么要finetune

1、什么是fine-tuning？

fine-tuning就是将通用大模型，通过特定数据的训练，将其调试成为具有某项专业功能的大模型，例如GPT-3通过微调之后，成为ChatGPT；GPT-4经过微调之后，成为GitHub Copilot，PCP通用医疗模型，经过微调之后，可以成为心肺专家或者皮肤专家

2、微调对模型做了什么？

允许您向模型中放入比提示所需数据更多的数据
获取模型以学习数据，而不仅仅是获取对数据的访问权限

3、finetune的优点

将模型导向更一致的输出
减少幻觉
根据特定用例自定义模型
过程与模型早期的训练类似

4、提示工程和微调的对比

提示工程
优点：

1. 不需要起始数据
2. 前期投入较少
3. 不需要技术知识
4. 通过RAG连接数据

缺点：

1. 有比较少的数据能吻合
2. 数据匹配度不够
3. 生成的答案可能是通过胡编乱造的
4. RAG并不能很好的起到作用，或者会得到错误的数据

微调
优点：

1. 几乎无限的数据拟合
2. 能够学习到新的信息
3. 纠正错误信息
4. 如果模型较小，则成本更低
5. 也用到了RAG

缺点

1. 需要高质量的数据
2. 前期投入计算成本较高
3. 需要一些技术、数据方面的能力<