在本地电脑部署属于你的AI大模型

前言：

现在的ai很多，让我看得有些眼花缭乱，随着ai的发展，现在已经有很多ai的大模型已经支持开源，所以现在支持部署一个大模型在自己电脑上，数据私人化。

如果不知道自己是否需要或者是否合适配置可以跳到本文的结尾查看小编的使用感受。

正文：

首先打开开源网站github，大家自行百度就好

然后用到现在非常火的ollama这个开源项目，项目地址是

https://github.com/ollama/ollama

各位可以直接打开，然后里面有他们的项目介绍，还有直达官网的链接，然后自行选择下载对应的版本。

安装好后可以在win加r输入cmd调出命令行窗口输入ollama进行查看ollama是否安装成功，如果安装成功则会跳出以下界面，但是这时候还没有下载大模型，所以还不能直接使用​

所以当你要选择模型下载的时候可以回到ollama的官网右上角处有模型的选项，点击后就可以选择开源的模型

点击后就可以筛选大模型，然后每个大模型其实会有不同的版本，对应需要的空间也不同，大家可以自行根据自己的电脑配置进行选择，然后右边就是它的下载代码，只需要把它粘贴到刚才的命令行窗口即可。

然后它就会自行拉取下载链接进行下载，这个时候只需要等待即可

下载成功后就可以直接在命令行窗口进行对话，但是这里只是在命令行窗口进行回答，但是这里有一个温馨提醒，一定要根据自己的电脑配置进行下载对应的模型，因为我现在这个电脑是笔记本的4070配置运行起来都会有电脑死机片刻的情况，可能是我在做这篇博客的时候，后台的可视化ui界面也在运行着一个大模型，使得运行两个大模型，让我的电脑卡死。

而且在同一台电脑同时调用两个大模型的话很有可能会让输出内容出现问题，所以尽量不要同时调用两个大模型。

当然，你也可以删除这个模型，命令是

ollama rm llama3.1

那我们继续来看一下这个可视化的ui界面吧，找到另一个github上的开源项目，链接是

https://github.com/nomic-ai/gpt4all

然后进行下载安装，安装的时候是可以选择安装的地址目录，安装成后在你的目录下有一个bin文件，文件里面有一个名为chat的应用程序，双击就可以运行这个程序

这个程序有着可视化的界面，然后模型也是和ollama的官网一样，不过这里可以自行搜索下载

下载好之后就可以选择对应的模型进行对话了，然后在这个可视化的界面里面也是可以自己进行删除模型的

结尾：

这样的部署可以选择多种大模型进行下载使用而且数据私人化，前提是达到运行模型的门槛，显卡的显存需要达到8g以上，硬盘也需20g以上的空余空间，但这个只是门槛，小的模型意味着训练的样本更少，回答也就没有这么全面，运行更大的模型意味着你需要更高的配置。就像下面的这个最大的模型llama3.1 405b的模型需要229的模型空间，才可以和gpt4o以及claude掰手腕。

llama3.1 70b的模型需要40g的空间才可以和gpt3.5掰手腕

可想而知我刚才安装的llama 8b的模型有多么离谱。

所以如果想要好的体验，喜欢自己训练模型的话可以考虑一下这个方案，不然我还是建议各位去各大ai官网进行线上使用他们的基础模型，体验也比这个好不少​。

另外这个chat应用里面也可以调用市面上的热门模型，只不过有些需要api key。