模型转化 + 模型量化（从 safetensors 到 ollama）

人工智能老林

于 2024-10-21 09:49:34 发布

阅读量1.2k

点赞数 6

文章标签：人工智能 agi 数据挖掘机器学习神经网络 opencv 目标检测

本文链接：https://blog.csdn.net/2401_88228389/article/details/143104678

版权

模型转化 + 模型量化（从 safetensors 到 ollama）

wget https://github.com/ollama/ollama/releases/download/v0.1.47/ollama-linux-amd64
install ollama-linux-amd64 /usr/local/bin/ollama
ollama -v

OLLAMA_MODELS=/root/autodl-tmp ollama serve

这里修改了 OLLAMA_MODELS 为 /root/autodl-tmp ，这样 ollama 会从这个目录下加载模型。

ollama pull llama3:8b

可以通过命令查看这个模型的 modelf