大语言模型应用Text2SQL本地部署实践初探

      自从两年前OpenAI公司发布ChatGPT后，大模型(Large Language Model，简称LLM)相关技术在国内外可谓百家争鸣，遍地开花，在传统数据挖掘、机器学习和深度学习的基础上，正式宣告进入快速发展的人工智能(Artificial Intelligence，简称AI)2.0时代。

      人工智能的本质上是基于海量数据（包括结构化数据，文本数据，图片数据，音频数据，视频数据等）不断学习和推理，去模仿人类思考、认知、决策和行动。

      我在项目实施工作中，跟数据打交道很多，主要是传统的数据建模和分析，基本都是基于商业产品，比如SAP，Qlik，帆软，永洪等；或者是基于公司的自研产品，大体功能类似但二次开发比较容易。由于这种壁垒，对机器学习和大模型了解甚少，基本停留在了解一些基本概念和关注一些技术新闻方面。最近几年的项目上重复遇到过一些困扰我好久的问题，项目范围内的数据模型搭完后，对数据比较依赖的部门比如财务，审计等会不断涌现出新的数据需求，如何让业务部门的用户快速获取和分析数据为日常工作提供决策支持是一个痛点，以往的大宽表模型和自助式BI分析解决方案不太理想，而学习数据建模由于太过技术性往往让用户望而却步。

      最近通过在B站学习了一些优秀up主的大模型讲解视频，以及阅读了一些技术大拿的博文，受益匪浅。通过了解Text2SQL，帮我开拓了思路，似乎让我找到了解决以上痛点问题的契机。

      Text2SQL也叫NL2SQL(Natural Language To SQL)，是一种自然语言生成技术(文字->代码->结果)，通过将人类用自然语言提出的数据问题(Text)，转化为结构化查询语言(Structured Query Language，简称SQL）代码，然后自动执行生成的代码实现人类和数据的直接对话，持续提升数据分析效率。

      Text2SQL实现的技术路线有很多，本篇主要讲述了基于阿里巴巴开源大模型Qwen，开源框架Vanna，以及Ollama，Mysql，Python3等技术栈的组合来部署实践。由于考虑到企业级数据的安全性，所有组件都是本地化部署，内网可以直接使用。虽然还没延伸考虑数据权限、SQL准确性、复杂场景实现等面临的挑战，但先迈出第一步等于成功了一半，不断学习不断进步，像LLM一样:)

      以下是部署实践的步骤：

1. 准备一个linux虚拟机作为服务器。

我电脑是win11+vmware+centos7.6+Xshell，这里的安装略过，可自行网上搜索教程，安装后的效果：

如果装完的OS是图形化启动，可以通过如下命令设置为命令行启动，节省硬件资源：

systemctl set-default multi-user.target

再通过ifconfig查看ip：

获取到ip后就可以通过Xshell远程连系统了：

2. 安装Python3.11环境。

开源框架Vanna是基于Python的，我们通过Miniconda来安装Python3.11。

下载conda安装脚本：

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

安装：bash Miniconda3-latest-Linux-x86_64.sh

这里输入yes：

使环境变量生效后查看conda版本验证是否安装OK：

source ~/.bashrc

conda --version

安装python3.11

conda create -n py311 python=3.11

激活Python3环境，并查看版本：

conda activate py311

python -V

3. 安装Ollama。

Ollama是开源大模型的管理运行工具，支持很多国内外开源的大模型，包括我们这次要用的qwen2.5.

安装命令：

curl -fsSL https://ollama.com/install.sh | sh

4. 安装大模型。

安装好后通过ollama -v看下版本，考虑到笔记本性能，选择本地安装qwen2.5:3b版本的开源大模型，3b表示3billon也即30亿个模型参数。

qwen2.5:3b

ollama run qwen2.5:3b

安装完后，就可以直接run模型，和模型对话：

5. 安装mysql并模拟准备企业数据。

Mysql的安装此处略过，可以网上搜索教程。我安装的是mysql8.0+客户端工具Dbeaver：

创建一个vanna的数据库并准备三张表：

DDL和写数脚本如下：

CREATE DATABASE `vanna` /*!40100 DEFAULT CHARACTER SET utf16 */ /*!80016 DEFAULT ENCRYPTION='N' */;

-- vanna.DEPT definition

CREATE TABLE `DEPT` (

`DEPTNO` int NOT NULL COMMENT