- 博客(6)
- 收藏
- 关注
RSS订阅原创 书生·浦语大语言模型——OpenCompass大模型评测
缺少高质量中文评测集；长文本、智能体、多轮对话；自动化客观评测、人机交互评测、基于大模型的大模型评测。原因：可能是oom，调小batch-size即可。模型选型、模型能力提升、真实应用场景效果评测。
2024-01-30 11:14:14
393
1
原创 书生·浦语大语言模型——LMDeploy大模型量化部署实践
1、LMDeploy是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。2、 核心功能——量化：降低显存占用，提升推理速度3、 核心功能——推理引擎TurboMind：持续批处理，有状态的推理，高性能cuda kernel，Blocked k/v cache4、 核心功能——推理服务api server。
2024-01-30 11:06:59
809
1
原创 书生·浦语大模型——XTuner大模型单卡微调实战
增量预训练微调：让基座模型学习到一些新知识，如某个垂类领域的常识指令跟随微调：让模型学会对话模板，根据人类指令进行对话。
2024-01-30 11:00:20
1069
原创 书生·浦语大语言模型——基于InternLM和LangChain搭建你的知识库
（1）基于本地部署InternLM，集成LangChain的LLM类自定义的一个InternLM LLM子类，从而实现将InternLM接入到LangChain框架中。vectordb对象即为已构建的向量数据库对象，该对象可以针对用户的query进行语义上的向量检索，得到与用户提问相关的知识片段。c. 选择Chrma作为向量数据库，基于上下文分块后的文档以及加载的开源向量化模型，将语料库加载到指定路径下的向量数据库。a. 给大模型外挂一个知识库，从知识库中匹配到回到文档，然后一起交给大模型。
2024-01-30 10:41:35
827
1
原创 书生·浦语大语言模型——趣味Demo
概念：人工智能领域中参数量巨大、拥有庞大计算能力和参数规模的模型特点及应用：利用大量数据进行训练；拥有数十亿甚至数千亿个参数；模型在各种任务中展现出惊人的性能。
2024-01-30 10:22:30
439
1
原创 书生·浦语大模型课程（一）
3、 部署方案：技术点，如模型并行、低比特量化、Attention优化、计算和访存优化、Continuous Batching等。2、 OpenCompass：丰富模型支持、分布式高效评测、便捷的数据集接口、敏捷的能力迭代。1、 大语言模型的局限性：最新信息和知识的获取、回复的可靠性、数学计算、工具使用和交互。1、 大语言模型的特点：内存开销巨大、动态shape、模型结构相对简单。特点：高可扩展、极致性能优化、兼容主流、开箱即用。包括文本数据、图像-文本数据、视频数据等。2、 技术挑战：设备、推理、服务。
2024-01-30 09:57:54
186
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人