前言
我们经常为海量文档找不到关键内容而烦恼,那么可以使用AI 帮忙轻松检索个人笔记,并且还能优化我们的文章,以我们的风格生成文章。今天,我来教你用 Ollama 和 MaxKB 搭建一个属于自己的 AI 知识库,让你的知识随时为你服务. Ollama 作为轻量级模型管理平台,可以快速安装、运行多种 AI 模型,如 DeepSeek-R1、Llama3 等。本文将手把手教你如何:
✅ 安装 Ollama ✅ 运行 DeepSeek-R1 模型 ✅ 配置 ChatBox 客户端 ✅ 构建 MaxKB 知识库
🖥️ 1. 安装 Ollama:开启你的本地 AI 之旅
✅ 1.1 下载安装 Ollama
开源地址: Ollama 官方文档
下载并解压 Ollama 安装包:
代码语言:javascript
代码运行次数:0
运行
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
安装成功后,/lib 和 /bin 文件夹下将生成相应的文件。
安装完成
✅ 1.2 启动 Ollama
代码语言:javascript
代码运行次数:0
运行
ollama serve
查看版本号确认安装是否成功:
代码语言:javascript
代码运行次数:0
运行
ollama -v
查看版本
⚙️ 2. 配置 Ollama 服务后台启动
✅ 2.1 创建用户和组
代码语言:javascript
代码运行次数:0
运行
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
✅ 2.2 配置 Ollama 的 systemd 服务
创建 ollama.service
文件:
代码语言:javascript
代码运行次数:0
运行
sudo nano /etc/systemd/system/ollama.service
添加以下配置:
代码语言:javascript
代码运行次数:0
运行
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_HOST=0.0.0.0:11434" # 暴露端口,方便外部访问
[Install]
WantedBy=multi-user.target
✅ 2.3 启动并设置自启
代码语言:javascript
代码运行次数:0
运行
sudo systemctl daemon-reload
sudo systemctl start ollama
sudo systemctl enable ollama
服务配置成功
🧠 3. 下载并运行 DeepSeek-R1 模型
✅ 3.1 选择合适的 DeepSeek-R1 版本
模型版本 | 参数量 | 内存占用(近似) | 推理速度(参考) | 适用场景 |
---|---|---|---|---|
DeepSeek-R1 1.5B | 1.5B | ~1.2GB(FP16) | 极快(低端GPU/CPU) | 轻量任务、嵌入式设备、快速响应 |
DeepSeek-R1 7B | 7B | ~5GB(FP16) | 快(中端GPU/CPU) | 本地开发、对话机器人、文本生成 |
DeepSeek-R1 14B | 14B | ~12GB(FP16) | 中等(高端GPU) | 高性能需求、复杂推理、代码补全 |
DeepSeek-R1 32B | 32B | ~24GB(FP16) | 较慢(需高端GPU) | 专业任务、大规模数据处理、研究 |
模型地址: https://ollama.com/library/deepseek-r1:1.5b
✅ 3.2 下载并运行模型
代码语言:javascript
代码运行次数:0
运行
ollama run deepseek-r1:1.5b
安装完成后,可以直接开始提问!
模型运行成功
✅ 3.3 通过 API 进行测试
代码语言:javascript
代码运行次数:0
运行
curl http://192.168.235.131:11434/api/chat -d '{
"model": "deepseek-r1:1.5b",
"messages": [
{ "role": "user", "content": "你好" }
]
}'
📚 4. Ollama 常用命令汇总
📦 4.1 模型管理
命令 | 作用 | 示例 |
---|---|---|
ollama pull <模型名> | 下载模型 | ollama pull deepseek-r1:7b |
ollama list | 查看已安装的模型 | ollama list |
ollama rm <模型名> | 删除本地模型 | ollama rm llama3:8b |
ollama cp <源模型> <新模型> | 复制模型(用于自定义) | ollama cp deepseek-r1:7b my-r1 |
💬 4.2 运行与交互
命令 | 作用 | 示例 |
---|---|---|
ollama run <模型名> | 运行模型并进入交互对话 | ollama run deepseek-r1:7b |
ollama run <模型名> “<提示词>” | 直接执行单次推理 | ollama run deepseek-r1:7b “你好!” |
Ctrl+D | 退出交互模式 | (在交互界面按组合键) |
🛠️ 4.3 自定义模型
命令 | 作用 | 示例 |
---|---|---|
ollama create <模型名> -f Modelfile | 基于 Modelfile 创建自定义模型 | ollama create my-r1 -f ./Modelfile |
ollama show <模型名> --modelfile | 查看模型的 Modelfile 配置 | ollama show deepseek-r1:7b --modelfile |
💡 5. 安装 ChatBox 客户端
ChatBox 官网: Chatbox AI
下载安装后,你就可以在本地轻松使用 DeepSeek-R1 模型进行交互。
ChatBox 启动成功
开始提问
📚 6. 构建个人知识库:MaxKB
✅ 6.1 安装并配置 MaxKB
MaxKB 文档: MaxKB 官方文档
按照文档配置 MaxKB 环境,并添加 Ollama 模型。
✅ 6.2 配置模型 API
随意填写 API Key,模型与 Ollama 连接。
添加模型
✅ 6.3 创建个人知识库
创建知识库
✅ 6.4 导入文章数据
导入文章
✅ 6.5 创建 AI 应用
创建应用
✅ 6.6 关联模型与知识库
关联模型
📝 7. 使用体验:不同模型效果对比
⚡ DeepSeek-R1 1.5B: 响应速度快,但逻辑简单,有点“呆瓜”。 🏆 DeepSeek-R1 32B: 逻辑推理能力更强,回答质量显著提升,适合高端 AI 应用。
模型效果对比
如何系统的去学习大模型LLM ?
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业
?”“谁的饭碗又将不保了?
”等问题热议不断。
事实上,抢你饭碗的不是AI,而是会利用AI的人。
继科大讯飞、阿里、华为
等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?
与其焦虑……
不如成为「掌握AI工具的技术人
」,毕竟AI时代,谁先尝试,谁就能占得先机!
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。
基于此,我用做产品的心态来打磨这份大模型教程,深挖痛点并持续修改了近70次后,终于把整个AI大模型的学习门槛,降到了最低!
在这个版本当中:
第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言
您只需要听我讲,跟着我做即可,为了让学习的道路变得更简单,这份大模型教程已经给大家整理并打包,现在将这份 LLM大模型资料
分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)
五、AI产品经理大模型教程
LLM大模型学习路线 ↓
阶段1:AI大模型时代的基础理解
-
目标:了解AI大模型的基本概念、发展历程和核心原理。
-
内容:
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2:AI大模型API应用开发工程
-
目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
-
内容:
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3:AI大模型应用架构实践
-
目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
-
内容:
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4:AI大模型私有化部署
-
目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
-
内容:
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料
包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓