本地部署ai大模型（非常详细），零基础入门到精通，看这一篇就够了

大模型扬叔

于 2024-10-04 15:45:00 发布

阅读量634

点赞数 5

文章标签：人工智能本地部署ai大模型（非常详细）

本文链接：https://blog.csdn.net/weixin_49895216/article/details/142653306

版权

前言

现在的ai很多，让我看得有些眼花缭乱，随着ai的发展，现在已经有很多ai的大模型已经支持开源，所以现在支持部署一个大模型在自己电脑上，数据私人化。

如果不知道自己是否需要或者是否合适配置可以跳到本文的结尾查看小编的使用感受。

正文：

首先打开开源网站github，大家自行百度就好

然后用到现在非常火的ollama这个开源项目，项目地址是

https://github.com/ollama/ollama

各位可以直接打开，然后里面有他们的项目介绍，还有直达官网的链接，然后自行选择下载对应的版本。

在这里插入图片描述

安装好后可以在win加r输入cmd调出命令行窗口输入ollama进行查看ollama是否安装成功，如果安装成功则会跳出以下界面，但是这时候还没有下载大模型，所以还不能直接使用

在这里插入图片描述

所以当你要选择模型下载的时候可以回到ollama的官网右上角处有模型的选项，点击后就可以选择开源的模型

在这里插入图片描述

点击后就可以筛选大模型，然后每个大模型其实会有不同的版本，对应需要的空间也不同，大家可以自行根据自己的电脑配置进行选择，然后右边就是它的下载代码，只需要把它粘贴到刚才的命令行窗口即可。

在这里插入图片描述

然后它就会自行拉取下载链接进行下载，这个时候只需要等待即可

在这里插入图片描述

下载成功后就可以直接在命令行窗口进行对话，但是这里只是在命令行窗口进行回答，但是这里有一个温馨提醒，一定要根据自己的电脑配置进行下载对应的模型，因为我现在这个电脑是笔记本的4070配置运行起来都会有电脑死机片刻的情况，可能是我在做这篇博客的时候，后台的可视化ui界面也在运行着一个大模型，使得运行两个大模型，让我的电脑卡死。

而且在同一台电脑同时调用两个大模型的话很有可能会让输出内容出现问题，所以尽量不要同时调用两个大模型。

在这里插入图片描述

当然，你也可以删除这个模型，命令是

ollama rm llama3.1

那我们继续来看一下这个可视化的ui界面吧，找到另一个github上的开源项目，链接是

https://github.com/nomic-ai/gpt4all

然后进行下载安装，安装的时候是可以选择安装的地址目录，安装成后在你的目录下有一个bin文件，文件里面有一个名为chat的应用程序，双击就可以运行这个程序

在这里插入图片描述

这个程序有着可视化的界面，然后模型也是和ollama的官网一样，不过这里可以自行搜索下载

在这里插入图片描述

下载好之后就可以选择对应的模型进行对话了，然后在这个可视化的界面里面也是可以自己进行删除模型的

在这里插入图片描述

结尾：

这样的部署可以选择多种大模型进行下载使用而且数据私人化，前提是达到运行模型的门槛，显卡的显存需要达到8g以上，硬盘也需20g以上的空余空间，但这个只是门槛，小的模型意味着训练的样本更少，回答也就没有这么全面，运行更大的模型意味着你需要更高的配置。就像下面的这个最大的模型llama3.1 405b的模型需要229的模型空间，才可以和gpt4o以及claude掰手腕。

在这里插入图片描述