极客时间微调课程学习总结

背景

学习大模型的必要性

隐约记得，大模型刚刚出现在视野是在2022年底，朋友圈里面刚刚有一些帖子讨论“ChatGPT会成为下一代搜索引擎么？”再看现在，2024年7月份，短短一年半的时间，以ChatGPT为代表的一众智能助手，已经成为程序员、文字工作者、知识密集型白领工作中不可替代的提效工具，并在不断高速扩展着它们的影响力。以大模型为中心的四层架构（芯片、深度学习框架、大模型、大模型应用），都在以不可置信的速度迭代着，迭代的速度甚至超出了摩尔定律。

这是一个全新的时代，虽然又有很多人趋之若鹜，让人不得不怀疑是否有技术泡沫，但大模型的技术价值是毋庸置疑的。所以接触这样一门新技术，并且能够系统的学习，是一名程序员与时俱进，不被时代抛弃的必要条件。

正在做的事

在大模型概念提出之初，我正在百度ACG（智能云事业群组）从事算法研发工作，服务的产品是“知识中台”，一款面向B端用户的一站式知识管理解决方案。简单来说，用户把数据接入到这个系统中，会被加工成“知识”，用户可以通过搜、推、问答等各种方式获取到知识。我们的使命就是帮助用户更准确、更高效的获取到知识，辅助用户做出更好的决策。团队工作的方向涉及知识图谱、搜索、问答、推荐、辅助决策等，我主要关注搜索、问答的效果优化。

在这中间，我们使用传统的NLP技术遇到了很多的问题，用户意图识别不准、搜索不智能、问答泛化能力差等等问题，加上toB各种定制化需求，这种问题被无限放大，我们似乎看不到破局的希望。

为什么报名

1. 大模型的技术能够很好的解决我们遇到的问题 
   • 针对上面说到的意图理解能力、泛化能力、智能化水平，大模型相较于传统模型，都有非常大的优势，且集各种能力于一身，能够极大的提升系统的智能化水平。
2. 想系统的学习微调的知识
   • 由于个人非深度学习科班出身，且网络上关于大模型的知识散乱、良莠不齐，需要从一门课程中更快、更系统的掌握知识脉络，搭建起大模型的学习框架，再用网络上散落的知识填充内容。

课程的感想

1.知识全面，市面上能看到的微调方法，基本上都覆盖到了，且针对重点的微调方法和模型，有实践指导。

2.授之以渔，彭老师能够清楚的讲述每个关键技术点的来龙去脉，很好的串联起大模型微调的知识体系，并且会告知获取这些知识的方法，掌握的会更好。

3.课外答疑和辅导充分，有设置交流群和直播答疑，能够更好的互动和答疑，掌握知识更扎实。

收获

通过课程的学习，能够更系统的学习微调的知识，后面还需要结合企业的应用更多的实践，目前正在从RAG这个方向为公司提升应用的效果。

建议

如果有可能的话，可以引入一些项目上的实践，在实际应用上给与更多的指导。