搭建本地AI大模型——实现步骤

最新推荐文章于 2025-02-05 23:06:34 发布

大模型零基础教程

最新推荐文章于 2025-02-05 23:06:34 发布

阅读量2k

点赞数 7

文章标签：人工智能神经网络 agi 机器学习

本文链接：https://blog.csdn.net/h1453586413/article/details/145300019

版权

首先是安装个模型载体平台ollama。

其次在平台上下载AI大模型qwen2.5

最后就是本地的知识，数据投喂，训练，不断重复这个过程，实现本地大模型成为创作、工作助手的目标。

下载ollama

https://github.com/ollama/ollama/releases/latest/download/OllamaSetup.exe（windows直接下载链接）

https: ollama.com ，点击下载按钮,进入Download Ollama界面，选择对应的操作系统可以了

下载好了退出Ollama，先设置一会儿下载大模型要放的目录。

Ollama 的默认模型存储路径如下：

C:\Users%username%.ollama\models，无论 C 盘空间大小，需要安装多少模型，都建议换一个存放路径到其它盘，否则会影响电脑运行速度。

（win10）我的电脑–右键属性-----高级系统设置–高级—环境变量–系统变量

打开「系统环境变量」，新建一个系统变量OLLAMA_MODELS ，然后设置ollama模型的存储路径。

变量名：OLLAMA_MODELS

变量值（路径）：E:\WorkAi\ollama\models

打开ollama终端，安装大模型

安装qwen2.5–3B大小的模型（整整下载了2个半小时1.9G）

ollama run qwen2.5:3b{终端运行指令}

然后再输入ollama list 即可看到下载的大语言模型列表,本例下载了两个,所以显示两个,下面我们进行本地测试

运行ollama情况下，直接cmd命令窗口输入命令也是可以的。

以上一个没有webUI界面的本地大模型就安装成功了，接着还要解决给模型喂数据，喂文件，聊天的界面，这样儿的大模型在本地好用。

下载浏览器插件

1、page-assist

这是一个体验极佳的开源插件，整体交互体验类似ChatGPT。

2、AnythingLLM

AnythingLLM是由Mintplex Labs Inc.开发的一款可以与任何内容聊天的私人ChatGPT，具有以下特点：

模型训练很受限制：新建的工作区，以及同一个工作区的新进程都无法知道另一个进程训练的内容，从而获取到正确答案我这里用AIwork——default进程训练的十字星这个事例，新建工作区，或者在AIword这个工作区下面新建一个新的进程都无法得到这个想要的被训练的答案。

3、Open WebUI

WebUI系统则具有以下特点：

‌可扩展性和用户友好性‌

：如Open WebUI，支持包括Ollama和OpenAI在内的各种LLM运行容器或API，具有直观的界面和响应式设计，适合完全离线操作。
‌功能丰富‌

：支持本地RAG集成、多模型支持、模型文件生成器、多模式支持、语音输入等功能。
‌灵活集成‌

：支持OpenAI API和其他外部服务器的连接，适合需要高度灵活性和集成多种API的场景。