qq_39693642的博客

原创 GLM-4-9B大模型本地部署实践

备注：模型存放格式是safetensors格式：该格式是一种专为深度学习模型设计的文件格式，主要用于存储模型参数等信息，具有安全（文件中包含了签名和哈希值信息，防止文件内容被篡改）、压缩（文件存储使使用了压缩算法）、兼容（与TensorFlow、PyTorch等不同框架兼容）等特点。模型文件较大，使用git clone命令下载时，需要安装并初始化git的lfs支持功能（lfs：large file storage，代表大文件支持），否则下载下来的模型文件是异常的。修改为自己所下载的模型的实际位置。