InternStudio学习笔记
文章平均质量分 82
none
Noyes
IT初学者
展开
-
进阶岛--LMDeploy 量化部署
LMDeploy 开发了 Persistent Batch(即 Continuous Batch),Blocked K/V Cache,动态拆分和融合,张量并行,高效的计算 kernel等重要特性。跟着 https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/LMDeploy/readme.md 教程一步一步走即可,写的相当详细。随着模型变得越来越大,我们需要一些大模型压缩技术来降低模型部署的成本,并提升模型的推理性能。非对称量化通常涉及以下步骤。原创 2024-08-30 22:29:10 · 1072 阅读 · 0 评论 -
进阶岛--MindSearch CPU-only 版部署
参考 https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/MindSearch/readme.md , 写的很详细。更详细的介绍:https://github.com/InternLM/MindSearch。接上文,由于有LLM汇总环节,而LLM推理是很耗费GPU资源的,所以仅CPU怎么干这个活?答:推理过程放云端,原理类似手机连云主机玩3A大作。一言以蔽之:传统搜索引擎 + LLM智能筛选/汇总。就是云端推理方案之一。原创 2024-08-30 22:04:26 · 283 阅读 · 0 评论 -
进阶岛--InternVL 微调实践
InternVL 是一种用于多模态任务的深度学习模型,旨在处理和理解多种类型的数据输入,如图像和文本。它结合了视觉和语言模型,能够执行复杂的跨模态任务,比如图文匹配、图像描述生成等。跟着 https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/InternVL/joke_readme.md 教程,写的相当详细,这里只概述下流程。如下图,对于InternVL这个模型来说,它vision模块就是一个微调过的ViT,llm模块是一个InternLM的模型。原创 2024-08-30 21:05:33 · 744 阅读 · 0 评论 -
进阶岛--茴香豆:企业级知识问答工具实践
更详细的介绍推荐看 https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/Huixiangdou/readme.md。为了能将上述终端起的gradio服务暴露到公网。ok, 这b包不装也罢。cpolar 极点云。原创 2024-08-29 00:15:13 · 438 阅读 · 0 评论 -
进阶岛--Lagent 自定义你的 Agent 智能体
https://github.com/InternLM/Tutorial/tree/camp3/docs/L2/Lagent 这篇教程写的很详细,流程概述如下。原创 2024-08-28 19:00:28 · 292 阅读 · 0 评论 -
基础岛任务--汇总帖
readme.md。原创 2024-08-24 21:38:24 · 757 阅读 · 0 评论 -
入门岛任务
跟着创建一个开发机实例。原创 2024-07-29 14:27:41 · 286 阅读 · 0 评论