- 博客(13)
- 收藏
- 关注
RSS订阅原创 LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。书生·浦语和机智流社区同学光速投稿了 LMDeploy 高效量化部署 Llama 3，欢迎 Star。本文将分为以下几个部分来介绍，如何使用LMDeploy来部署 Llama3（以 InternStudio 的环境为例）环境、模型准备。
2024-04-26 17:27:28
829
1
原创 【全网首发】Llama 3 微调项目实践与教程（XTuner 版）
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，XTuner 团队对 Llama 3 微调进行了光速支持！！！同时开源社区中涌现了 Llama3-XTuner-CN 手把手教大家使用 XTuner 微调 Llama 3 模型。
2024-04-23 17:31:20
816
原创 Agent-FLAN 技术报告——社区翻译版
Agent-FLAN 技术报告于近日正式对外发布，不少社区大佬自发地参与到报告的翻译与解读中来。本文为社区用户翻译的 Agent-FLAN 技术报告原文，分享给大家~论文地址：https://arxiv.org/abs/2403.12881Agent-FLAN的代码已开源至：（欢迎点亮小星星）https://github.com/InternLM/Agent-FLAN 如果你对 Agent-FLAN 的技术细节感到好奇，或者渴望与其他技术爱好者进行深入的交流和讨论，不要错过我们本周六晚上 8 点举行的圆桌会
2024-04-19 15:01:09
608
1
原创 千亿参数，百万序列 | XTuner 超长上下文训练方案
尽管开源模型支持的序列长度不断被刷新，但主流的显存优化策略（如 ZeRO 系列）却不足以解决大模型、长序列训练问题。如图 1 所示，使用 ZeRO-3 显存优化策略训练超长序列时，单纯增加 GPU 数量无法解决超长序列带来的 OOM 问题；这是因为，ZeRO-3 只能优化模型参数和优化器状态占用的显存，超长训列训练过程中的显存开销主要来自激活值，而非模型参数和优化器状态。图1 不同序列长度时，使用 ZeRO-3 训练 128k 上下文 yi-34B 模型的训练情况。
2024-04-16 15:54:35
835
原创 大模型初探者到登上领奖台，看优秀学员郭一凡如何在实战营走花路！
书生·浦语大模型实战营第二期正在如火如荼地进行中，今天，让我们一起走进首期实战营优秀学员郭一凡的故事，故事主题关乎“成长”。
2024-04-11 16:24:50
902
1
原创 InternLM2 技术报告——社区翻译版
大型语言模型（LLMs）如ChatGPT和GPT-4的发展引发了关于通用人工智能（AGI）来临的讨论。然而，将这样的进步应用到开源模型中一直颇具挑战。本文介绍InternLM2，一个开源的大语言模型，它在6个维度和30个基准的全面评估中超越了其前身，特别是在长序列建模和开放性主观评估方面，通过创新的预训练和优化技术实现了这一突破。InternLM2详细阐述了预训练过程中各类数据的准备，包括文本、代码和长文本数据。
2024-04-10 15:27:21
392
1
原创 轻松玩转书生·浦语大模型趣味 Demo
还没有报名的同学戳此链接报名哟：https://www.wjx.cn/vm/tUX8dEV.aspx?书生·浦语大模型角色扮演 SIG 小组长那路带来《轻松书生·浦语大模型趣味 Demo》的实战课程 玩转书生·浦语【智能对话】、【智能体解应用题】、【多模态理解及图文创作】等趣味 Demo。操作文档：https://github.com/InternLM/Tutorial/blob/camp2/helloworld/hello_world.md。觉得不错，欢迎 Star。
2024-04-01 18:49:10
162
原创 书生·浦语大模型全链路开源体系
由上海人工智能实验室青年科学家陈恺带来《书生·浦语大模型全链路开源体系》课程的分享！https://github.com/InternLM/InternLM/还没有报名的同学戳此链接报名哟：https://www.wjx.cn/vm/tUX8dEV.aspx?书生·浦语大模型全链路开源体系。觉得不错 欢迎 Star 哟~
2024-04-01 18:47:06
71
原创 6行代码，1行命令！轻松实现多模态（视觉）模型离线推理 & 在线服务
早在去年年底，LMDeploy 已经悄悄地支持了多模态（视觉）模型（下文简称 VLM）推理，只不过它静静地躺在仓库的角落里，未曾与大家正式照面。LMDeploy 开源链接：经过一段时间的迭代，LMDeploy 在 VLM 推理和服务方面，发生了翻天覆地的变化，于 v0.2.6 版本中正式发布。和去年相比，已有云泥之别，可以接受大家的检阅啦。LMDeploy 的 VLM 推理，主打简单、好用。6行代码完成推理，一行命令搭建服务。目前，已支持了以下模型：LLaVA 系列 v1.5，v1.6。
2024-03-28 19:36:27
807
原创 首届书生·浦源大模型挑战赛圆满收官，实战营学员大放异彩！
10 项创新创意项目中，有 7 项来自于首期书生·浦语大模型实战营项目，它们分别是《AMchat 高等数学大模型》、《旋律大师-IMelodists》、《InternLM2-Horowag》、《Chat-嬛嬛》、《Roleplay-with-XiYou》、《食神（The God Of Cookery）》、《EmoLLM》。经过一个多月的角逐，挑战赛从 122 个参赛队伍中决出了 20 支优胜队伍，并结合现场答辩表现，评出一等奖 1 名、二等奖 3 名，行业应用奖 6 名，创新创意奖 10 名。
2024-03-26 15:24:17
745
原创 消费级显卡玩转大模型全链路！InternLM2-1.8B正式开源
InternLM2-1.8B 于近日正式开源！InternLM2-1.8B 提供了三个版本的开源模型，大家可以按需选择~
2024-03-11 15:12:13
847
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人