书生·浦语大模型
文章平均质量分 77
孙小北
个人小站:www.xiaowangyun.com
展开
-
书生·浦语大模型实战营Day06智能体
可以感知环境中的动态条件能采取动作影响环境能运用推理能力。原创 2024-04-28 21:57:24 · 281 阅读 · 2 评论 -
书生·浦语大模型实战营Day05作业
以API Server方式启动 lmdeploy,开启 W4A16量化,调整KV Cache的占用比例为0.4,分别使用命令行客户端与Gradio网页客户端与模型对话。使用W4A16量化,调整KV Cache的占用比例为0.4,使用Python代码集成的方式运行internlm2-chat-1.8b模型。设置KV Cache最大占用比例为0.4,开启W4A16量化,以命令行方式与模型对话。使用 LMDeploy 运行视觉多模态大模型 llava gradio demo。原创 2024-04-21 09:10:22 · 519 阅读 · 1 评论 -
书生·浦语大模型实战营Day05LMDeploy 高阶
llava多模态模型,使用pipeline推理原创 2024-04-21 09:02:37 · 1128 阅读 · 0 评论 -
书生·浦语大模型实战营Day05LMDeploy服务
将大模型封装为API接口服务,供客户端访问原创 2024-04-21 09:01:03 · 1151 阅读 · 0 评论 -
书生·浦语大模型实战营Day05LMDeploy实践
选择镜像;选择10% A100*1GPU;点击“立即创建”。原创 2024-04-20 21:29:47 · 717 阅读 · 0 评论 -
书生·浦语大模型实战营Day05 LMDeploy 量化部署
书生·浦语大模型实战营Day05 LMDeploy 量化部署LMDeploy 量化部署 LLM-VLM模型部署部署:将开发完毕的软件投入使用的过程服务器:CPU、GPU大模型部署面临的挑战计算量巨大、参数规模大内存开销巨大:K V Cache访存瓶颈、动态请求模型部署方法模型剪枝(Pruning)非结构化剪枝结构化剪枝知识蒸馏(Knoledge Distillation,KD)教师-学生量化(Quantization)量化感知训练(Q原创 2024-04-20 21:23:29 · 366 阅读 · 0 评论 -
书生·浦语大模型实战营合集
书生·浦语大模型实战营原创 2024-04-18 22:49:54 · 1002 阅读 · 0 评论 -
书生·浦语大模型实战营Day04作业
记录复现过程并截图https://openxlab.org.cn/models/detail/sunxiaobei/personal_assistant。原创 2024-04-18 22:48:16 · 355 阅读 · 1 评论 -
书生·浦语大模型实战营Day04OpenXLab 部署
书生·浦语大模型实战营Day04OpenXLab 部署原创 2024-04-17 22:08:00 · 1184 阅读 · 1 评论 -
书生·浦语大模型实战营Day04个人助手微调
用 `QLoRA` 的方式来微调一个自己的小助手原创 2024-04-17 21:54:41 · 879 阅读 · 1 评论 -
书生·浦语大模型实战营Day04微调
书生·浦语大模型实战营Day04微调原创 2024-04-16 23:20:58 · 319 阅读 · 1 评论 -
书生·浦语大模型实战营Day04XTuner多模态
书生·浦语大模型实战营Day04XTuner多模态原创 2024-04-16 23:12:44 · 1084 阅读 · 0 评论 -
书生·浦语大模型实战营Day03作业
书生·浦语大模型实战营Day03茴香豆作业原创 2024-04-15 22:33:07 · 636 阅读 · 3 评论 -
书生·浦语大模型实战营Day03茴香豆
书生·浦语大模型实战营Day03茴香豆:搭建你的 RAG 智能助理原创 2024-04-15 22:28:06 · 1074 阅读 · 1 评论 -
书生·浦语大模型实战营Day02作业
书生·浦语大模型实战营Day02作业原创 2024-04-05 20:23:03 · 283 阅读 · 4 评论 -
书生·浦语大模型实战营Day02趣味Demo
轻松玩转书生·浦语大模型趣味Demo原创 2024-04-05 20:15:27 · 939 阅读 · 4 评论 -
书生·浦语大模型实战营Day01全链路开源体系
书生·浦语大模型全链路开源体系原创 2024-04-01 10:54:37 · 913 阅读 · 0 评论