[InternLM 大模型开源社区]大模型实战营第三期@202408-进阶岛-第3关-LMDeploy 量化部署进阶实践

刘维克

于 2024-08-27 16:14:07 发布

阅读量151

点赞数 2

文章标签：开源语言模型 python 人工智能自然语言处理

本文链接：https://blog.csdn.net/immanuele/article/details/141603944

版权

                    
                    任务类型任务内容预计耗时完成度
闯关任务使用结合W4A16量化与kv cache量化的internlm2_5-1_8b-chat模型封装本地API并与大模型进行一次对话，作业截图需包括显存占用情况与大模型回复，参考4.1 API开发(优秀学员必做)，请注意2.2.3节与4.1节应使用作业版本命令。45mins完成
闯关任务使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用，作业截图需包括大模型回复的工具调用情况，参考4.2 Function call(选做)45mins完成

任务类型	任务内容	预计耗时	完成度
闯关任务	使用结合W4A16量化与kv cache量化的`internlm2_5-1_8b-chat`模型封装本地API并与大模型进行一次对话，作业截图需包括显存占用情况与大模型回复，参考4.1 API开发(优秀学员必做)，请注意2.2.3节与4.1节应使用作业版本命令。	45mins	完成
闯关任务	使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用，作业截图需包括大模型回复的工具调用情况，参考4.2 Function call(选做)	45mins	完成

刘维克

关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
[InternLM 大模型开源社区]大模型实战营第三期@202408-进阶岛-第3关-LMDeploy 量化部署进阶实践

【代码】[InternLM 大模型开源社区]大模型实战营第三期@202408-进阶岛-第3关-LMDeploy 量化部署进阶实践。
复制链接

扫一扫