本地部署大模型的几种工具（下-相关比较）

龙井茶Sky

已于 2024-03-26 11:28:23 修改

阅读量1.4k

点赞数 3

分类专栏： AI 文章标签：大模型本地部署

于 2024-03-26 11:04:10 首次发布

本文链接：https://blog.csdn.net/to_love_/article/details/137038794

版权

比较项目	chatglm.cpp	vllm	Ollama	lmstudio
功能特点	通过C++优化性能，支持多平台运行	推理加速	简化易用、本地运行大模型	简化操作、本地运行大模型
操作系统要求	都可以，linux下运行更方便	都可以，linux下运行更方便	都可以，windows目前还是预览版	都可以
硬件要求	GPU、CPU均可	需要GPU	CPU即可，GPU应该也可以	GPU、CPU均可
编码支持	可自行修改代码	可自行修改代码	可命令行操作	纯界面操作
web运行	支持	支持<