【Windows本地安装Ollama模型并部署Vanna】

写在开头

在学习vanna和ollama的过程中写下本文，谨以记录，别无他意。

技术简介

本文主要介绍了如何在Windows本地安装ollama的大语言模型，并将该模型用在vanna上去做text to sql。

Ollama安装

1.进入官网链接：https://ollama.com/
2.点击download，选择Windows版本直接下载即可（理论上来说，是要挂vpn的，不然下载会很慢）

3.下载之后，直接安装就可以了。（理论上来说，环境变量会自动添加，如果后面用不了，大概率是环境变量没配置，自行加上就行了）。
注释：Ollama并不是大模型，它是一个开源的框架，可以理解为一个为大模型服务的工具，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。

模型下载

关于大模型，可以根据自己的需求和电脑的配置进行选择。
鉴于本人笔记本电脑内存不多，选择的阿里的qwen2-7b，因为ollama是支持从GGUF导入大模型的。
1.从官网下载：https://modelscope.cn/models/qwen/Qwen2-7B-Instruct-GGUF/files

qwen2-7b有多个不同的版本，区别就是模型性能和精度不一样。其中q值后面的数字越大，对应的模型精度就越高，但是占用的内存也就越大。还是那句话，根据自己的需求和电脑配置自行选择。

2.模型的相关配置
（因为只是做测试，本文下载的是qwen2-7b-instruct-q2_k.gguf）
下载完成之后，在打算存储模型的地方新建一个文件夹，例如：qwen，然后把模型文件放到这个文件夹下就可以了。
之后，在qwen文件夹下，新建一个文件：Modelfile，并在文件中写入以下内容，./后对应的就是下载的模型的文件名

FROM ./qwen2-7b-instruct-q2_k.gguf

最后效果就是这样

启动模型

1.在qwen文件夹直接进入cmd命令行
2.执行创建命令

ollama create Qwen2-7B -f ./Modelfile

如果成功执行，应该会显示transferring model data，like this

这里应该不会运行太久，如果很长时间没反应，直接enter一下看看。最终执行成功的结果会显示success，like this

3.启动

ollama run Qwen2-7B

成功之后，like this

到此，模型就行安装完成了，可以通过ollama list命令查看当前有哪些模型。

Vanna简介

理论上来说，都点击这篇文章了，想必是知道Text to Sql的，就不在这里解释了，Vanna就是一个开源的Python RAG(检索增强生成)框架，‌主要用于SQL生成的。其实Vanna的官方文档写的非常详细并且易懂。官网链接：https://vanna.ai/docs/

环境搭建

1.创建python项目和虚拟环境

都学习大模型了，基本的python操作就不赘述了，自己创建就行了（仅供参考：本文使用的pycharm 2024以及python 3.12的虚拟环境）
注释：这里建议创建jupyter项目，操作起来会方便很多

2.安装vanna的相关包

这个在vanna的官方快速操作文档中有介绍，https://vanna.ai/docs/mysql-ollama-chromadb/，选择使用的大模型和向量库，官方会生成需要安装哪些包，然后直接pip安装就行了。like this

本文肯定是选择的Ollama咯，至于向量库，因为都是安装库直接使用，选择的是ChromaDB，也可以用vanna官方推荐的第一个，这个没有太多要求，自行选择。

因为是要做text to SQL，下面还会选择一个数据库，这个也根据需求选择就行了，之后会生成相应的测试代码，拿来直接用就行
安装相关库

%pip install 'vanna[chromadb,ollama,mysql]'

建议加个镜像，会快一点

%pip install 'vanna[chromadb,ollama,mysql]' -i https://pypi.tuna.tsinghua.edu.cn/simple

实操部分

1.模型连接

按照vanna官网的实例代码，like this