书生·浦语大模型实战训练营——学习笔记
文章平均质量分 76
这个专栏是基于上海AI实验室举办的书生·浦语大模型实战训练营的学习内容进行编写的,包括了作者的学习心得和各种资源文档,面对的主要是LLM领域的知识,包括大模型架构理论,LLM微调实战,RAG等板块学习;作者耗时一个月,获得了优秀营员。
智能提桶工程师
非计算机专业出身的人工智能技术爱好者以及学习者
展开
-
书生·浦语大模型实战训练营--顺利结营!!!
到这里为止,哈哈哈,其实上两周就结束了,只是自己忘记share一下,咱的书生浦语实战营就是正式结束了,最后也算是功夫不负有心人,七次课程作业全优,拿到了优秀营员嘿嘿嘿。原创 2024-05-22 12:56:05 · 128 阅读 · 0 评论 -
书生·浦语大模型实战训练营第二期第二节--轻松玩转书生·浦语大模型趣味 Demo--Homework--基础作业
除此之外 我还想借用上一期的代码 开发一下web端的InternLM2模型,目前遇到点报错 就是他有点笨笨的一直重复我的话 这个我还得研究一下。模型生成 300 字的小故事(需截图)本人是在自己租用的云端服务器上部署的。原创 2024-04-02 20:19:45 · 246 阅读 · 3 评论 -
书生·浦语大模型实战训练营第二期第四节--Xtuner微调LLM--notebook
1.为什么模型要做微调?现在其实大部分的大模型应该叫做“基座模型”,也就是基于普遍性的任务去进行与训练的,所以如果想让它落地在特定的下游领域中,它的表现必然是不如在领域内训练的模型,所以现在最好的方式就是对大模型进行一个领域内知识的微调。比如上一期学生的,中医药助手,食神等等。2.一般有两种finetune范式增量预训练是一种训练策略,它允许模型在已有的知识基础上不断学习和改进。在QLoRA中,增量预训练意味着模型会在原始预训练数据的基础上,不断添加新的数据并重新进行训练。原创 2024-04-17 17:15:51 · 1010 阅读 · 1 评论 -
书生·浦语大模型实战训练营第二期第五节--LMDeploy 量化部署 LLM&VLM实战--homework
计算密集(compute-bound): 指推理过程中,绝大部分时间消耗在数值计算上;针对计算密集型场景,可以通过使用更快的硬件计算单元来提升计算速度。访存密集(memory-bound): 指推理过程中,绝大部分时间消耗在数据读取上;针对访存密集型场景,一般通过减少访存次数、提高计算访存比或降低访存量来优化。原创 2024-04-15 16:55:47 · 891 阅读 · 1 评论 -
书生·浦语大模型实战训练营--第二期第七节--OpenCompass大模型评测实战--homework
安装下面的顺序以及自己的文件路径配置环境。打开配置之后可以看到如下结果。原创 2024-04-23 01:14:45 · 271 阅读 · 0 评论 -
书生·浦语大模型实战训练营第二期第三节:RAG基础理论与茴香豆部署--notebook
RAG(检索增强生成)通俗来讲,其实就是一个搜索引擎,将用户输入的内容作为索引,在外部的知识库中进行检索并结合LLM进行生成回答(关键就是可以外接一个实时更新的网络信息世界,实现外部记忆,不需要训练过程,直接搜索外面的玩意就行了,成本很低三大板块:提问(索引)---检索Retrieval(在外部数据库以及自己的数据库检索与问题相关的文档)---生成Generation(将检索到的文档与原始问题一起输入于LLM,生成最终的回答)原创 2024-04-07 22:03:24 · 664 阅读 · 0 评论 -
书生·浦语大模型实战训练营第二期第二节--轻松玩转书生·浦语大模型趣味 Demo--Notebook
Lagent 是一个轻量级、开源的基于大语言模型的智能体(agent)框架,支持用户快速地将一个大语言模型转变为多种类型的智能体,并提供了一些典型工具为大语言模型赋能。它的整个框架图如下:原创 2024-04-02 21:17:12 · 1146 阅读 · 3 评论 -
书生·浦语大模型实战训练营第二期第二节--轻松玩转书生·浦语大模型趣味 Demo--Homework
这里就顺利结束啦,由于有第一期自己练习了一下的经验,这里的模型部署比较熟练一些,但是还是感觉没有能够更加深入的理解大模型的部署以及训练方式,这些在后面微调训练中应该会练习到,那就期待下一节课吧!下面就是利用InternLM-XComposer2进行视觉理解的图,这里我输入了一张我自己在海陵岛拍摄的照片,他大概分析了图中的景色吧,但是问他这是哪他也不知道哈哈哈,确实特征给的太少了哈哈哈。这是模型下载的过程,我本人是把所有模型的代码和路径都写好了在一个py文件里面,方面随时下载和更改路径。原创 2024-04-03 20:50:52 · 438 阅读 · 3 评论 -
书生浦语大模型实战训练营第二期第三节--茴香豆RAG知识助手实战部署--homework
所谓的语料也就是新增知识数据,也就是这个小逼崽子的饲料,拿这些语料去数据去喂它它才能知道这么回答你问题(本地的语料数据库)----(后面会教你接通互联网,就可以直接用外界互联网的数据库来补充茴香豆的知识库)我是在autodl是租用的服务器来运行这次demo的,实在是一波三折啊,太难了,后续还是对操作文档的一句一句细致的精读,慢慢的理解思考,才最后解决了问题,成功部署!而茴香豆的主要应用目前是部署在微信群和飞书群中,用于解答群聊中的问题,并且可以根据群聊的记录自动分析哪些是闲聊哪些是真正的技术问题并解答。原创 2024-04-13 18:54:38 · 921 阅读 · 1 评论 -
InternLM实战营第二期--第一节课程:书生·浦语大模型全链路开源体系--课程笔记
1.首先是简单对比一个专用模型以及通用大模型:在2023年之前,也就是在奥特曼同志的openai还没发布王炸级别的ChatGPT时,针对人工智能领域,一直都崇尚并遵循着“同一模型,针对不同的问题,其性能会不一样的"的原则,这也就是特定问题采用特定模型的时代,也就叫专用模型。2.这个预训练的部分,我不是特别的理解,大概应该是该模型有一个已经训练好的基础模型,你可以直接调用拿来使用,也可以支持拓展,自己把模型训练的好一点点。5.最后就是大佬们可以那这些大模型,进行拓展部署用于自己的实际工作以及实际的项目开发。原创 2024-04-01 16:23:19 · 359 阅读 · 0 评论 -
书生浦语大模型实战训练营--第二期第六节--Lagent & AgentLego 智能体应用搭建--homework
在和风天气获取一个API就行,然后运行上面的代码就好,在web里面就能接入和风天气进行获取某城市的天气了!下面我们将实现一个调用 MagicMaker 的 API 以实现图像生成的工具运行上面代码运行工具中效果图。原创 2024-04-20 12:37:57 · 449 阅读 · 0 评论 -
书生·浦语大模型实战训练营第二期第四节--Xtuner微调LLM--homework
后两部分都是 XTuner 官方帮我们优化好的东西,一般而言只有在魔改的情况下才需要进行修改。下面我们将根据项目的要求一步步的进行修改和调整吧!原创 2024-04-16 22:10:24 · 732 阅读 · 0 评论 -
书生·浦语大模型实战训练营--第二期第六节课--Lagent & AgentLego 智能体应用搭建--notebook
智能体可以通过学习和优化算法,不断提升自身的性能。它们可以从历史数据中学习经验,并结合实时数据做出决策,从而确保其输出的准确性和时效性。此外,智能体还可以通过与用户的交互,不断完善自己的知识和能力,以更好地满足用户的需求。因此,智能体的存在对于解决大语言模型的局限性具有重要意义。它们可以为用户提供更加可靠、准确和智能的服务,推动人工智能技术的进一步发展。智能体范式是计算科学领域中的一个重要概念,特别是在多智能体系统(Multi-Agent Systems, MAS)中。原创 2024-04-21 10:56:24 · 391 阅读 · 0 评论 -
书生·浦语大模型实战训练营--第二期第七节--OpenCompass大模型评测实战--notebook
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0),用于为大语言模型、多模态模型等提供一站式评测服务。其主要特点如下:1.开源可复现:提供公平、公开、可复现的大模型评测方案2.全面的能力维度:五大维度设计,提供 70+ 个数据集约 40 万题的的模型评测方案,全面评估模型能力3.丰富的模型支持:已支持 20+ HuggingFace 及 API 模型4.分布式高效评测:一行命令实现任务分割和分布式评测,数小时即可完成千亿模型全量评测。原创 2024-04-22 23:43:48 · 880 阅读 · 0 评论 -
书生·浦语大模型实战训练营第二期第五节--LMDeploy 量化部署 LLM&VLM实战--notebook
但是可以看到的是,大模型自身的计算量在增加时,其访存量不怎么变化,所以是不是模型自身的计算量上去了,基本就能平衡这个访存量,充分发挥GPU的算力不要再摸鱼了?GPU的显存根本耗不起,A100才80G显存,你自己看看下面这大模型加载的时候都需要这么大的显存,还部署个毛。而且还有KV的缓存,(保证整体模型结构的完整前提下,一块一块的剪掉,可以降低模型复杂性,缺点就是可能会误剪一些好的参数,和漏掉一些坏参数)移除模型中不必要的组件(如参数),保证模型性能下降最小的同时,减小存储需求,提高计算效率。原创 2024-04-15 11:40:54 · 963 阅读 · 1 评论