使用ollama + AnythingLLM快速且简单的在本地部署千问大模型

最新推荐文章于 2025-03-13 16:45:24 发布

Aobu＆

最新推荐文章于 2025-03-13 16:45:24 发布

阅读量2k

点赞数 22

文章标签：语言模型知识图谱深度学习

本文链接：https://blog.csdn.net/qq_54534211/article/details/144650571

版权

不多说，直接开始

一、安装ollama

ollama官网：https://ollama.com/
下载地址：https://ollama.com/download

打开以后注册并下载即可

找到自己的系统安装即可

二、下载模型并运行ollama

Ollama在Windows系统上默认安装在C:\Users\<username>\\AppData\Local\Programs\Ollama路径下。这里的<username>是你的Windows用户名。

安装ollama以后，在这个路径下安装的默认路径下进入cmd，然后输入指令：ollama run qwen2.5

我是已经装好了，所以输入指令是直接运行这个模型，如果没有下载的话就是直接下载。

要下载其他的模型也可以在网站中找：https://ollama.com/library

常用的命令有：

  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

可以看到页面中让执行ollama run qwen2.5即可

一般来说run是用来跑模型的，但是如果本地没有这个模型的话，ollama会自动下载

PS:国内的网络问题不知道有没有解决，下载模型的时候偶尔速度很快，但是很多时候速度很慢以至于提示TLS handshake timeout，这种情况建议重启电脑或者把ollama重启一下（我下载的时候挂了梯子，下载速度还比较正常）

下载完成以后我们输入ollama list可以查下载了哪些模型