- 博客(20)
- 收藏
- 关注
RSS订阅原创 书生·浦语2.5开源，推理能力再创新标杆
2024 年 7 月 3 日，上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式发布新一代大语言模型书⽣·浦语2.5（InternLM2.5）。
2024-07-10 16:50:49
991
原创 第二期书生·浦语大模型实战营优秀项目一览
Streamer-Sales 销冠 —— 卖货主播大模型 是一个能够根据给定的商品特点从激发用户购买意愿角度出发进行商品解说的卖货主播大模型。项目功能点如下：📜 精心设计的数据集生成流程🧰 使用 XTuner 在 InternLM2 上指令微调模型🚀 LMDeploy 加速推理🎙️ ASR 语音输入🔊 TTS 文字转语音输出📚 RAG 检索增强生成🌐 Agent 网络查询实时快递等信息🦸 主播数字人视频生成。
2024-06-25 19:15:31
1090
原创 LLM推理后端性能大比拼，来自BentoML团队的深度评估！
选择适宜的推理后端来服务大型语言模型 (LLMs) 至关重要。它不仅可以确保用户通过快速生成速度获得最佳体验，还可以通过 token 的高生成率和资源利用率降本增效。如今，开发者可以选择多种由知名研究和行业团队创建的推理后端。但是，为特定用例选择最佳后端可能具有挑战性。为了帮助开发者做出明智的决策，我们在 BentoCloud 上，分别使用 vLLM、、MLC-LLM、TensorRT-LLM 和 Hugging Face TGI 搭建了 Llama 3 推理服务，并对推理性能进行了全面的基准测试。
2024-06-14 15:38:33
436
原创 LMDeploy Windows 平台最佳实践
LMDeploy 支持在 Windows 平台进行部署与使用，本文会从以下几个部分，介绍如何使用 LMDeploy 部署 internlm2-chat-1_8b 模型。环境配置LMDeploy Chat CLI 工具LMDeploy pipeline (python)LMDeploy serving
2024-06-05 17:32:20
875
原创 丝滑小连招，部署 Vision Language 模型
LMDeploy 自 v0.4.2 开始，支持 VL 模型 4bit 量化及推理部署。包括：llavainternvlqwen-vlminigeminiyi-vlLMDeploy 项目链接（文末点击阅读原文可直达，觉得好有欢迎点亮小星星）以上模型，除了 InternLM-XComposer2 外均采用 Llama 模型结构作为语言模块，而视觉模块则各有不同。
2024-05-30 20:21:53
704
原创 InternLM2-Math-Plus全面升级，全尺寸最强的开源数学模型
上海人工智能实验室在推出领先的开源数学模型InternLM2-Math的三个月之后对其进行了升级，发布了全新的 InternLM2-Math-Plus。升级后的 InternLM2-Math-Plus 在预训练和微调数据方面进行了全面的优化，显著提高了其在自然语言推理、代码解题以及形式化数学语言上的性能。
2024-05-28 14:26:07
938
原创 LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。书生·浦语和机智流社区同学光速投稿了 LMDeploy 高效量化部署 Llama 3，欢迎 Star。本文将分为以下几个部分来介绍，如何使用LMDeploy来部署 Llama3（以 InternStudio 的环境为例）环境、模型准备。
2024-04-26 17:27:28
930
1
原创 【全网首发】Llama 3 微调项目实践与教程（XTuner 版）
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，XTuner 团队对 Llama 3 微调进行了光速支持！！！同时开源社区中涌现了 Llama3-XTuner-CN 手把手教大家使用 XTuner 微调 Llama 3 模型。
2024-04-23 17:31:20
846
原创 Agent-FLAN 技术报告——社区翻译版
Agent-FLAN 技术报告于近日正式对外发布，不少社区大佬自发地参与到报告的翻译与解读中来。本文为社区用户翻译的 Agent-FLAN 技术报告原文，分享给大家~论文地址：https://arxiv.org/abs/2403.12881Agent-FLAN的代码已开源至：（欢迎点亮小星星）https://github.com/InternLM/Agent-FLAN 如果你对 Agent-FLAN 的技术细节感到好奇，或者渴望与其他技术爱好者进行深入的交流和讨论，不要错过我们本周六晚上 8 点举行的圆桌会
2024-04-19 15:01:09
632
1
原创 千亿参数，百万序列 | XTuner 超长上下文训练方案
尽管开源模型支持的序列长度不断被刷新，但主流的显存优化策略（如 ZeRO 系列）却不足以解决大模型、长序列训练问题。如图 1 所示，使用 ZeRO-3 显存优化策略训练超长序列时，单纯增加 GPU 数量无法解决超长序列带来的 OOM 问题；这是因为，ZeRO-3 只能优化模型参数和优化器状态占用的显存，超长训列训练过程中的显存开销主要来自激活值，而非模型参数和优化器状态。图1 不同序列长度时，使用 ZeRO-3 训练 128k 上下文 yi-34B 模型的训练情况。
2024-04-16 15:54:35
928
原创 大模型初探者到登上领奖台，看优秀学员郭一凡如何在实战营走花路！
书生·浦语大模型实战营第二期正在如火如荼地进行中，今天，让我们一起走进首期实战营优秀学员郭一凡的故事，故事主题关乎“成长”。
2024-04-11 16:24:50
933
1
原创 InternLM2 技术报告——社区翻译版
大型语言模型（LLMs）如ChatGPT和GPT-4的发展引发了关于通用人工智能（AGI）来临的讨论。然而，将这样的进步应用到开源模型中一直颇具挑战。本文介绍InternLM2，一个开源的大语言模型，它在6个维度和30个基准的全面评估中超越了其前身，特别是在长序列建模和开放性主观评估方面，通过创新的预训练和优化技术实现了这一突破。InternLM2详细阐述了预训练过程中各类数据的准备，包括文本、代码和长文本数据。
2024-04-10 15:27:21
433
1
原创 轻松玩转书生·浦语大模型趣味 Demo
还没有报名的同学戳此链接报名哟：https://www.wjx.cn/vm/tUX8dEV.aspx?书生·浦语大模型角色扮演 SIG 小组长那路带来《轻松书生·浦语大模型趣味 Demo》的实战课程 玩转书生·浦语【智能对话】、【智能体解应用题】、【多模态理解及图文创作】等趣味 Demo。操作文档：https://github.com/InternLM/Tutorial/blob/camp2/helloworld/hello_world.md。觉得不错，欢迎 Star。
2024-04-01 18:49:10
168
原创 书生·浦语大模型全链路开源体系
由上海人工智能实验室青年科学家陈恺带来《书生·浦语大模型全链路开源体系》课程的分享！https://github.com/InternLM/InternLM/还没有报名的同学戳此链接报名哟：https://www.wjx.cn/vm/tUX8dEV.aspx?书生·浦语大模型全链路开源体系。觉得不错 欢迎 Star 哟~
2024-04-01 18:47:06
75
原创 6行代码，1行命令！轻松实现多模态（视觉）模型离线推理 & 在线服务
早在去年年底，LMDeploy 已经悄悄地支持了多模态（视觉）模型（下文简称 VLM）推理，只不过它静静地躺在仓库的角落里，未曾与大家正式照面。LMDeploy 开源链接：经过一段时间的迭代，LMDeploy 在 VLM 推理和服务方面，发生了翻天覆地的变化，于 v0.2.6 版本中正式发布。和去年相比，已有云泥之别，可以接受大家的检阅啦。LMDeploy 的 VLM 推理，主打简单、好用。6行代码完成推理，一行命令搭建服务。目前，已支持了以下模型：LLaVA 系列 v1.5，v1.6。
2024-03-28 19:36:27
827
原创 首届书生·浦源大模型挑战赛圆满收官，实战营学员大放异彩！
10 项创新创意项目中，有 7 项来自于首期书生·浦语大模型实战营项目，它们分别是《AMchat 高等数学大模型》、《旋律大师-IMelodists》、《InternLM2-Horowag》、《Chat-嬛嬛》、《Roleplay-with-XiYou》、《食神（The God Of Cookery）》、《EmoLLM》。经过一个多月的角逐，挑战赛从 122 个参赛队伍中决出了 20 支优胜队伍，并结合现场答辩表现，评出一等奖 1 名、二等奖 3 名，行业应用奖 6 名，创新创意奖 10 名。
2024-03-26 15:24:17
800
原创 消费级显卡玩转大模型全链路！InternLM2-1.8B正式开源
InternLM2-1.8B 于近日正式开源！InternLM2-1.8B 提供了三个版本的开源模型，大家可以按需选择~
2024-03-11 15:12:13
928
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人