weixin_74051703的博客

原创 LLM大模型部署实验经验分享-大连理工大学软件学院

模型简介请访问魔搭社区：https://www.modelscope.cn/models/qwen/Qwen1.5-0.5B-Chat-GGUF/summary 在llama.cpp目录中执行命令 **上述命令中的"/path/to/local/dir"在执⾏时需要替换为实际的本地⽬录**。若是使用魔搭平台，则应为： 最后执行结束后，我们就可以与qwen大模型进行对话了！ （2）克隆qwen-ov模型: 如果安装依赖时出现以下问题：解决方案1： 解决