书生浦语
一宸哥
生而被割,生生不息
展开
-
书生浦语大模型全链路开发体系
模型选型-业务场景-算力能力-全参/部分参数微调-外部工具-构建智能体-模型评测-模型部署。原创 2024-07-26 15:32:20 · 189 阅读 · 0 评论 -
如何让大模型学会比较小数
是的,多执行几次,也许就乱了。原创 2024-07-24 16:09:53 · 234 阅读 · 0 评论 -
使用LMdeploy 运行书生模型
高效的推理:LMDeploy 开发了 Persistent Batch(即 Continuous Batch),Blocked K/V Cache,动态拆分和融合,张量并行,高效的计算 kernel等重要特性。可靠的量化:LMDeploy 支持权重量化和 k/v 量化。LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发,是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。便捷的服务:通过请求分发服务,LMDeploy 支持多模型在多机、多卡上的推理服务。原创 2024-07-24 14:41:15 · 1114 阅读 · 0 评论 -
大模型的微调-自我认知训练
【代码】【无标题】原创 2024-07-24 12:39:17 · 330 阅读 · 0 评论 -
书生 task L0-python
【代码】【无标题】原创 2024-07-18 16:03:06 · 144 阅读 · 0 评论 -
书生 task L0-Linux
1. vscode 连接 开发机2. 映射端口,并运行hello_world.py3. 可选任务 2 用vscode 创建 conda环境原创 2024-07-18 15:13:54 · 211 阅读 · 0 评论