Sherlim的博客

原创 大模型Qwen1.5-0.5B-Chat的部署，并基于OpenVINO进行模型量化实践

本实验的主要目标是完成大模型Qwen1.5-0.5B-Chat的部署，并基于OpenVINO进行模型量化实践。通过此次实验，我对大模型的部署和优化有了更深入的理解和实践经验。模型下载和项目编译是大模型部署的基础环节。通过下载Qwen1.5-0.5B-Chat模型和编译llama.cpp项目，我掌握了如何获取和准备大模型所需的基础文件和工具。基于OpenVINO的模型量化是本次实验的一个重点。通过将模型转换为int4精度，我了解了模型量化的基本步骤和原理。