自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

原创 书生·浦语大语言模型——OpenCompass大模型评测

缺少高质量中文评测集;长文本、智能体、多轮对话;自动化客观评测、人机交互评测、基于大模型的大模型评测。原因:可能是oom,调小batch-size即可。模型选型、模型能力提升、真实应用场景效果评测。

2024-01-30 11:14:14 389 1

原创 书生·浦语大语言模型——LMDeploy大模型量化部署实践

1、LMDeploy是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。2、 核心功能——量化:降低显存占用,提升推理速度3、 核心功能——推理引擎TurboMind:持续批处理,有状态的推理,高性能cuda kernel,Blocked k/v cache4、 核心功能——推理服务api server。

2024-01-30 11:06:59 799 1

原创 书生·浦语大模型——XTuner大模型单卡微调实战

增量预训练微调:让基座模型学习到一些新知识,如某个垂类领域的常识指令跟随微调:让模型学会对话模板,根据人类指令进行对话。

2024-01-30 11:00:20 1050

原创 书生·浦语大语言模型——基于InternLM和LangChain搭建你的知识库

(1)基于本地部署InternLM,集成LangChain的LLM类自定义的一个InternLM LLM子类,从而实现将InternLM接入到LangChain框架中。vectordb对象即为已构建的向量数据库对象,该对象可以针对用户的query进行语义上的向量检索,得到与用户提问相关的知识片段。c. 选择Chrma作为向量数据库,基于上下文分块后的文档以及加载的开源向量化模型,将语料库加载到指定路径下的向量数据库。a. 给大模型外挂一个知识库,从知识库中匹配到回到文档,然后一起交给大模型。

2024-01-30 10:41:35 823 1

原创 书生·浦语大语言模型——趣味Demo

概念:人工智能领域中参数量巨大、拥有庞大计算能力和参数规模的模型特点及应用:利用大量数据进行训练;拥有数十亿甚至数千亿个参数;模型在各种任务中展现出惊人的性能。

2024-01-30 10:22:30 437 1

原创 书生·浦语大模型课程(一)

3、 部署方案:技术点,如模型并行、低比特量化、Attention优化、计算和访存优化、Continuous Batching等。2、 OpenCompass:丰富模型支持、分布式高效评测、便捷的数据集接口、敏捷的能力迭代。1、 大语言模型的局限性:最新信息和知识的获取、回复的可靠性、数学计算、工具使用和交互。1、 大语言模型的特点:内存开销巨大、动态shape、模型结构相对简单。特点:高可扩展、极致性能优化、兼容主流、开箱即用。包括文本数据、图像-文本数据、视频数据等。2、 技术挑战:设备、推理、服务。

2024-01-30 09:57:54 185 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除