我的本地AI助手搭建-self

安置在

已于 2025-03-06 09:40:11 修改

阅读量811

点赞数 15

分类专栏： AI 文章标签：人工智能语言模型

于 2025-03-06 09:08:56 首次发布

本文链接：https://blog.csdn.net/lzhzlm/article/details/146058118

版权

AI 专栏收录该内容

2 篇文章

订阅专栏

一、环境准备
1.理论环境要求
1.1. 硬件配置
本地部署需要一台高性能的计算机或服务器，具体硬件要求如下：

处理器（CPU）：至少需要 8 核 16 线（Intel 或 AMD），推荐使用更高核数的 CPU（例如 12 核、16 核或更多），以支持多线程和并行计算。
内存（RAM）：建议配备 32 GB 到 64 GB 的内存。具体内存需求取决于模型大小和任务复杂度，大型模型可能需要更高的内存。
存储设备：
使用 SSD（固态硬盘）作为主存储设备，至少需要 50 GB 至 100 GB 空间用于操作系统、模型权重和其他项目文件。
如果需要更大容量的存储空间，可以考虑使用扩展型 SSD 或云存储服务（如 AWS S3、Azure Storage 或 Google Cloud Storage）。
GPU（可选）：
如果是基于 GPU 的混合计算环境（CPU + GPU），推荐使用 NVIDIA RTX 系列显卡或 AMD Radeon 系列显卡，但本地部署时通常不需要直接配置显卡。

1.2. 操作系统
本地部署需要一个支持大模型训练和推理的操作系统。以下是一些推荐：

Linux：Linux（尤其是 Ubuntu）是最佳选择，因为其在 AI 和机器学习任务中高度优化，并且有丰富的工具链和社区支持。
推荐使用 Ubuntu 22.04 LTS 或更高版本。
如果是 64-bit 操作系统，可以提高计算效率。
macOS（可选）：如果需要在苹果设备上运行，推荐使用 MacOS Catalina 及以上版本。不过 macOS 的支持相对 Linux 稳定性较低。
Windows（可选）：本地部署在 Windows 上也是可行的，但需要注意一些工具链的兼容性和稳定性。
1.3. 软件和环境
为了本地部署 AnythingLLM 和 Ollama，需要安装相关的软件并配置环境：
Python 环境：
在 Linux 或 macOS 上，推荐使用 Python 3.9 或更高版本。
安装 Python 环境时，可以使用 virtualenv 或 venv 创建虚拟环境，以隔离项目依赖的环境变量。
Jupyter Notebook（可选）：
如果需要运行交互式 notebook，可以安装 Jupyter 和相关内核（如 PyTorch、TensorFlow 等）。
LLM 工具链：
安装 Ollama 和 AnythingLLM 的工具链。通常可以通过以下步骤安装：
BASHcd /path/to/ollama
./ollama init --local
模型存储和推理工具：
使用 Ollama 客户端软件（如 ollama-cli）进行模型推理。

1.4. 安全性和稳定性
本地部署需要关注以下安全问题：

操作系统安全：确保操作系统和所有依赖的软件都是最新版本，避免漏洞利用。
权限管理：在Linux中，使用sudo或启用root账户时小心权限冲突。可以参考ls -l查看文件和目录的权限设置。
存储设备的安全性：使用强密码保护SSD或其他存储设备，并定期备份重要数据。

1.5. 参考官方文档
为了确保部署过程顺利，建议查阅以下官方文档：

AnythingLLM 官方文档：https://github.com/anthropic/anythingllm
Ollama 官方文档：https://ollama.ai/
官网提供详细的安装指南和运行示例。
AWS、Azure 或 Google Cloud 的官方指南：
如果需要在云平台上部署，可以参考上述平台的官方文档。

1.6.总结
本地部署 AnythingLLM 和 Ollama 的主要配置要求是：
1.硬件：至少 8 核 CPU 和 32 GB RAM。
2.操作系统：推荐使用 Ubuntu 22.04 LTS 或更高版本。
3.软件环境：安装 Python、Jupyter Notebook 和相关工具链（如 Ollama 和 AnythingLLM）
2.本机操作系统参数
版本：window10专业版
系统类型：64 位操作系统, 基于 x64 的处理器
处理器：Intel® Core™ i7-6700 CPU @ 3.40GHz 3.40 GHz
机带RAM：32.0 GB (31.9 GB 可用)
二、安装包准备
1.线上模式（互联网模式）
直接访问各大模型官网提供的在线AI助手–连接网络即可，例如：
1.1.deepseek：https://chat.deepseek.com/

1.2.百科助手 https://uj3wrm.smartapps.baidu.com/

1.3.文心一言：https://yiyan.baidu.com/

2.线下模式（本地部署模式）
需要下载对应的大模型（如deepseek、Qwen2.5等）。
2.1.选择下载开源大语言模型
通过开源框架ollama，下载运行已有的大语言模型，地址：https://ollama.org.cn/library。命令窗口运行如下命令：ollama run xxx(模型名称和版本).
ollama run deepseek-r1:7b
ollama run qwen2.5:7b
… …
2.1.1.deepseek-r1
DeepSeek的第一代推理模型，性能与OpenAI-o1相当，包括基于Llama和Qwen的DeepSeek-R1提炼出的六个密集模型。
2.1.2.qwen2.5
Qwen2.5 模型在阿里巴巴最新的大规模数据集上进行预训练，数据集包含多达 18 万亿个 tokens。该模型支持最多 128K 个 tokens，并具有多语言支持。
2.2.图形化对话工具
2.2.1.AnythingLLM
‌ AnythingLLM是一个由Mintplex Labs Inc.开发的全栈应用程序，旨在将任何文档、资源或内容片段转换为大语言模型（LLM）在聊天中可以利用的相关上下文。它支持几乎所有主流的大模型和多种文档类型，如PDF、TXT、DOCX等，并且具有高度的可定制性和开源特性‌12。https://anythingllm.com/desktop
下载：https://s3.us-west-1.amazonaws.com/public.useanything.com/latest/AnythingLLMDesktop.exe

	2.2.2.Chatbox AI
	Chatbox AI 是专门用于与各种语言模型对话的图形化工具，界面友好。
	我们访问 [Chatbox AI 官网]（https://chatboxai.app/zh），点击下载系统对应的版本。

三、部署（重点）–Windows系统
1.安装Ollama
1.1.下载Ollama
Ollama主页：https://ollama.com/ ，支持macOS, Linux 和 Windows 系统，点击下载按钮，获取OllamaSetup.exe安装程序。

	1.1.1.下载完成后，运行如下可执行应用程序，傻瓜式安装即可
	
	注意点：
	a.默认安装路径：%username%\AppData\Local\Programs\Ollama （例如我本机是：C:\Users\MyPC\AppData\Local\Programs\Ollama）
	b.安装后,先退出Ollama(电脑桌面有个羊驼小图标），退出后再进行环境变量配置
	（右键图标，会出现退出的按钮「Quit Ollama」，注意：一定要退出Ollama，否则下边的环境配置无法生效！）


1.2.运行环境配置
	1.2.1. 关闭开机自启动（可选）
		路径为--%APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup
	Ollama 默认会随 Windows 自动启动，可以在「文件资源管理器」的地址栏中访问以下路径，删除其中的Ollama.lnk快捷方式文件，阻止它自动启动。
	
	1.2.2.配置环境变量（必须）
		a.存储路径
			Ollama 的默认模型存储路径如下：C:\Users\%username%\.ollama\models，无论 C 盘空间大小，需要安装多少模型，都建议换一个存放路径到其它盘，否则会影响电脑运行速度。打开「系统环境变量」，新建一个系统变量【OLLAMA_MODELS 】，然后设置ollama模型的存储路径
	变量名（N)：OLLAMA_MODELS
	变量值（V）：G:\Work\ollama\models ==》ps:按自己系统 实际盘 赋值具体路径值。
	
	b.配置端口（可选）
		变量名：OLLAMA_HOST
		变量值（端口）：:11434 ==》ps:按实际拥有端口开放即可。
	只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:8000 端口。(变量值的端口前号前有个冒号:)
	注：要使用 IPv6，需要 Ollama 0.0.20 或更高版本。另外，可能需要在 Windows 防火墙中开放相应端口的远程访问。
	c.允许浏览器跨域请求（可选）
		变量名：OLLAMA_ORIGINS
		变量值：* 
1.3.启动Ollama服务&&执行指令
	a.启动Ollama服务
		cmd指令： ollama serve
		ps:看Ollama是否启动，可以通过 http://127.0.0.1:11434 访问看是否running，当然也可以直接看菜单栏是否有羊驼小图标
		
	b.下载对话模型（运行）
		cmd指令：ollama run <模型名称>，首次执行会从模型库中下载模型，所需时间取决于你的网速和模型大小。模型库地址：https://ollama.org.cn/library
		例如：ollama run deepseek-r1:7b

2.安装Anythingllm(或者ChatBox)
2.1下载Anythingllm
下载：https://s3.us-west-1.amazonaws.com/public.useanything.com/latest/AnythingLLMDesktop.exe
下载后傻瓜式安装即可

2.2下载ChatBox
	[Chatbox AI 官网]（https://chatboxai.app/zh），点击下载系统对应的版本。
下载后傻瓜式安装即可

四、利用场景&&效果展示
1.Anythingllm+Ollama
程序运行界面如下
在这里插入图片描述

1.1.配置对话模型

1.2.基于本地上传文档对话

2.ChatBox+Ollama
	程序运行界面如下
	
	2.1.配置对话模型

3.利用场景
	输入 相关指令，操作很简单，打开 DeepSeek 后，根据自己的需求，类似修改下方指令里【】中的描述，并在对话框发送：
	
	我需要做一个【主题（开发经理2025 年工作计划）】的 PPT， 面向【客户/领导/同事】， 希望突出【具体要求（例如汇报者的数据思维、分月计划等）】， 要求内容专业且适合演讲， 请生成大纲及内容框架，并以 Markdown 格式输出。
	可参考：https://www.163.com/dy/article/JNS3707A05169CIL.html
	1.验收相关文档优化输出
	2.邮件内容优化输出
......

五、代码接入netCore 代码接入Ollama通过OllamaApi
1.Ollama本地接入请求返回对话内容的接口地址是http://127.0.0.1:11434/api/generate‌。
使用HTTP POST请求，参数如下：
- ‌模型名称‌：指定使用的模型名称，例如deepseek-r1:7b。
- ‌提示文本‌：输入的提示文本，例如为什么天空是蓝色?。
- ‌流式处理‌：设置为false表示非流式处理返回。
示例请求参数：


```python
jsonCopy Code{
  "model": "deepseek-r1:7b",
  "prompt": "为什么天空是蓝色?",
  "stream": false
}
请求示例代码（使用Python的requests库）：
import requests
import json

def generate_text(prompt, model="deepseek-r1:7b", base_url="http://localhost:11434"):
    url = f"{base_url}/api/generate"
    headers = {"Content-Type": "application/json"}
    data = {
        "model": model,
        "prompt": prompt,
        "stream": False
    }
    try:
        response = requests.post(url, headers=headers, json=data)
        response.raise_for_status()  # 检查HTTP错误状态码
        result = response.json()
        return result.get("response", "")
    except requests.exceptions.RequestException as e:
        return f"请求出错: {e}"
    except json.JSONDecodeError as e:
        return f"响应解析失败: {e}"

# 示例调用
if __name__ == "__main__":
    prompt = "给我一首描述春天的诗"
    response_text = generate_text(prompt)
    print(response_text)

post请求 http://localhost:11434
参数：
jsonCopy Code{
  "model": "deepseek-r1:7b",
  "prompt": "为什么天空是蓝色?",
  "stream": false
}

关注我的抖音号，获取更多相关内容！
在这里插入图片描述