【教程1】创建自己本地的Ai聊天机器人

只需十分钟，不懂开发的电脑小白也能做到，有经验更好。

网络上有很多付费的Ai聊天机器人，可以协助工作，很方便。但有一些聊天质量差，还说自己是chatgpt4.0，纯纯把人当大冤种，不如本地搭一个。或者大家担心数据泄露（比如训练公司数据）。下面我就详细地教会大家怎么在本地电脑上安装一个大模型聊天机器人。

虽然最后的建议扎心，但了解一下安装过程也不亏的。

网址：https://ollama.com/

ollama 是一个方便本地安装各种大模型的管理软件。类似的软件还有 LM Studio（之所以选择更复杂一点的ollama是更方便讲解原理，如果复杂的都会了，简单的不在话下，我的目的是希望国内更多人能接触Ai，打破信息差）

Ps:过程比较详细，篇幅较多，请做好准备。

前提：

本地设备要求：
Win10及以上版本, 16GB及以上内存，显卡不限（即使AMD也行）。配置越高越好。16GB 也就是个基础版。

1.下载 exe安装：

网址：https://github.com/ollama/ollama?tab=readme-ov-file

双击运行，会安装在 C 盘，2秒钟装好。

2.Win+R输入cmd运行 ollama 具体的模型

命令：ollama run llama2:13b

在第一步的网页中可以看到各种模型，根据自己的内存大小选择一个运行起来（最右侧是下载各自模型的命令，第一次运行会自动下载，以后运行这命令就不会再下载了）：

举例：

7B :至少8GB内存能流畅运行

13B :至少16GB内存能流畅运行

70B :至少64GB内存能流畅运行

我们电脑32GB，最多只能选择16GB内存 13B的模型。

命令获取：https://ollama.com/library/llama2:7b-chat-q4_0

命令参考：ollama run llama2:13b

下载完会自动安装：

看网速，一般3-5分钟。如果内存不够大，不是不能运行，而是运行比较卡顿。

开始问答：
安装完成，直接在下面就可以问答了，是不是很简单！

（13b对中文支持很弱，后面的回答总是用英文回答我，不开心，待会儿换个模型）
能力较弱，做不了脑筋急转弯：

但做个翻译还不错：

正常问答勉强：

前后安装总时间十分钟不到，总硬盘空间大约10GB，运行时占用内存空间约7GB，响应速度也非常快，每次都是秒回，速度体验满分，结果体验较差（毕竟只有130亿参数）。

---

后面的内容有点长，是给程序员或者了解一点代码的人看的。

4.安装图形界面服务器。

第三步其实就已经OK了，但我们更想要图形界面，比如一个网页版聊天机器人，如下。

这一步并不是必要的。只是为了方便使用，界面好看。

如何将这个大模型接入一个网页呢？

原理上，肯定是需要一个服务器运行前端网站，然后网站对接这个大模型后台。

架构如下：

我们这里直接采用另一个项目：

chatbot-ollama:

https://github.com/ivanfioravanti/chatbot-ollama

当然，像这种实现有很多，原理和结果都相似，选择一个来用就行了，你甚至可以自己实现一个。

a.按照链接里操作，运行 docker：

docker build -t chatbot-ollama .
docker run -p 3000:3000 chatbot-ollama

b.报错：

这是因为本地还没有启动docker，这需要你自己安装一下。docker是一个软件。相当于在你的Windows系统上又启动了一台Linux系统，我们叫Linux容器，一个容器只需要大约2-300M左右内存。
安装docker:

https://www.docker.com/products/docker-desktop/

运行：

PS:如果你以后打算运行自己的服务器，docker是必知必会的！

安装完docker后运行起来：

再次运行命令还报错：

仔细看命令，这是因为还没下载chatbot-ollama代码呢。。。

.下载chatbot-ollama
有两种方式实现 chatbot-ollama docker容器，

下载chatbot源码编译成docker
省去编译，直接下载docker镜像:
docker run -p 3000:3000 http://ghcr.io/ivanfioravanti/chatbot-ollama:main
这里采用更麻烦的第一种方式(理论上，代码总是最新的版本)：

在本地电脑新建一个目录，看看哪个盘有空间（最好是全英文路径）。

在这个目录打开cmd或者 powershell 都行。输入命令下载代码：

git clone https://github.com/ivanfioravanti/chatbot-ollama.git

一秒下载后，再次运行命令：

可以看到，图中运行又报错，这是因为得先进入目录再运行命令：

cd .\chatbot-ollama\

输入命令启动chatbot docker容器：

docker run -p 3000:3000 chatbot-ollama

在docker界面可以看到：

网页版就出来了：

在浏览器输入本地网址：http://localhost:3000/zh

选择刚才下载的13b模型（从头到尾我们只下载了这一个模型 -_-! ）

网页版的响应速度就慢了很多，大约在3-10s才能返回结果。这可能和docker后台有关。

Llama 13B的能力如何？

这个答案完全错误：

从我个人角度（用过chatGPT4.0，Claude 3）,13B是非常弱的能力。和国内大多数模型都不可比。免费的文心一言，通义千问感觉比它强10倍。

所以 13B 属实鸡肋。我们需要一个更强力的模型，但我们的电脑配不上啊，正经人谁给自己配64GB内存啊（-_-!）

我硬着头皮尝试了70B模型（要求至少64GB内存，而我只有32GB内存）

只需要cmd运行命令：ollama run llama2:70b-chat-q4_0

网页版刷新可见有第二个模型可选了：

当我问了第一句话：who are you？内存使用在10s内变化如下：

还好没卡到关机，回答的速度比蜗牛都慢十倍，几乎是1秒才蹦出一个字。

理解能力还行。属于正常水平吧。

提醒以后才能够答对：

Claude Sonnet的答案也差不多:

总结：

个人：

个人不值得一试，毕竟13B能力太弱，目前来说，一般人电脑都不会配置64GB内存，所以70B也没门。所以个人电脑就不必折腾了。而购买云服务器去部署的话，成本就太高了。

所以，对个人来说，还不如买个网页版会员用。

开发者，小公司：

13B 虽弱，70B勉强，估计比不上免费的chatGPT 3.5，从参数量可以看出来700亿和至少1750亿（gpt3），差距还是有点的。

但值得一试，可以作为公司微调的基础。如果你打算自己做一个，然后提供给亲朋好友或者开公司，可以尝试用 70B的搭一个。