书生·浦语
文章平均质量分 73
Y_qqq
这个作者很懒,什么都没留下…
展开
-
书生·浦语大模型课程(一)
3、 部署方案:技术点,如模型并行、低比特量化、Attention优化、计算和访存优化、Continuous Batching等。2、 OpenCompass:丰富模型支持、分布式高效评测、便捷的数据集接口、敏捷的能力迭代。1、 大语言模型的局限性:最新信息和知识的获取、回复的可靠性、数学计算、工具使用和交互。1、 大语言模型的特点:内存开销巨大、动态shape、模型结构相对简单。特点:高可扩展、极致性能优化、兼容主流、开箱即用。包括文本数据、图像-文本数据、视频数据等。2、 技术挑战:设备、推理、服务。原创 2024-01-30 09:57:54 · 185 阅读 · 1 评论 -
书生·浦语大语言模型——趣味Demo
概念:人工智能领域中参数量巨大、拥有庞大计算能力和参数规模的模型特点及应用:利用大量数据进行训练;拥有数十亿甚至数千亿个参数;模型在各种任务中展现出惊人的性能。原创 2024-01-30 10:22:30 · 437 阅读 · 1 评论 -
书生·浦语大语言模型——基于InternLM和LangChain搭建你的知识库
(1)基于本地部署InternLM,集成LangChain的LLM类自定义的一个InternLM LLM子类,从而实现将InternLM接入到LangChain框架中。vectordb对象即为已构建的向量数据库对象,该对象可以针对用户的query进行语义上的向量检索,得到与用户提问相关的知识片段。c. 选择Chrma作为向量数据库,基于上下文分块后的文档以及加载的开源向量化模型,将语料库加载到指定路径下的向量数据库。a. 给大模型外挂一个知识库,从知识库中匹配到回到文档,然后一起交给大模型。原创 2024-01-30 10:41:35 · 823 阅读 · 1 评论 -
书生·浦语大模型——XTuner大模型单卡微调实战
增量预训练微调:让基座模型学习到一些新知识,如某个垂类领域的常识指令跟随微调:让模型学会对话模板,根据人类指令进行对话。原创 2024-01-30 11:00:20 · 1051 阅读 · 0 评论 -
书生·浦语大语言模型——LMDeploy大模型量化部署实践
1、LMDeploy是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。2、 核心功能——量化:降低显存占用,提升推理速度3、 核心功能——推理引擎TurboMind:持续批处理,有状态的推理,高性能cuda kernel,Blocked k/v cache4、 核心功能——推理服务api server。原创 2024-01-30 11:06:59 · 799 阅读 · 1 评论 -
书生·浦语大语言模型——OpenCompass大模型评测
缺少高质量中文评测集;长文本、智能体、多轮对话;自动化客观评测、人机交互评测、基于大模型的大模型评测。原因:可能是oom,调小batch-size即可。模型选型、模型能力提升、真实应用场景效果评测。原创 2024-01-30 11:14:14 · 389 阅读 · 1 评论