大模型时代，我们将何去何从？

最新推荐文章于 2024-07-23 15:05:41 发布

leah126

最新推荐文章于 2024-07-23 15:05:41 发布

阅读量879

点赞数 28

分类专栏：程序员编程渗透测试文章标签：人工智能 web安全网络

本文链接：https://blog.csdn.net/leah126/article/details/139752386

版权

程序员同时被 3 个专栏收录

810 篇文章 137 订阅

订阅专栏

渗透测试

724 篇文章 30 订阅

订阅专栏

编程

419 篇文章 0 订阅

订阅专栏

随着时间的齿轮转动到2024年，各种行业大模型如雨后春笋般涌现。如何基于基座模型和领域数据构建行业大模型成为了近期研究和落地的热点方向。因此基于大模型进行微调和部署成为了大多数企业的日常操作，但模型微调存在相当的技术门槛，稍有差池或者经验不足极易造成过拟合（严重的灾难性遗忘）、或者欠拟合（无法有效学习特定领域知识）的情形。

与此同时，善用AI的人利用各种GPT工具完成写文章、写总结、写代码、阅读论文、文本翻译等日常任务，极大提升了工作和生活的效率。为了帮助大家更好地理解和掌握上述内容，本人精心打造了全面且不断迭代的系统性课程。

但在大模型实践过程中，往往存在着各种各样的坑，不管是大模型的下载和使用，还是大模型的微调与部署，一个看似简单的小问题就需要花费非专业人士数个小时，更何况很多同学是刚入门不久的小白，所以很容易就从入门走向放弃。

但市面上的大模型实战课程质量参差不齐，要么步骤不够详细，要么只包含文字（没有必要的截图）。很多同学可能会卡在某个点上很长时间，从易到难比如：无法连接huggingface、无法下载github源码、微调前不知从何入手、微调后不知如何选择比较好的checkpoint、微调后无法判断是否达到了预期的效果。

本课程包括以下主要内容：首先，我们将深入解析大模型的基本概念，其中包括从入门到精进的提示工程、主流大模型的System Prompt、GPT和LLaMA模型的进化之路。大模型的部署与推理是模型微调的前提，所以详细介绍了huggingface高速下载模型的实战代码、多种部署大模型API的实战教程、不同语言及其代码（包括Text2SQL）大模型的部署方案。

接着，我们将详细讲解大模型微调的技巧和实验方法，包括LoRA微调调参的实战技巧、LLama Factory单机和多机微调等实战教程、Lora Adapter可视化的实战教程、判断大模型微调是否产生灾难性遗忘的实战方案。