基于OBSIDIAN+Ollama+llama3.1构建个人智能助理

在人工智能（AI）领域， AI PC让我们重新定义智能办公和信息管理。但是，要真正实现这一愿景，我们必须考虑多个关键因素，包括隐私保护、数据安全等。在本文中，我们将使用OBSIDIAN+OLLAMA+LLAMA3.1-8b来搭建一个简易而高效的个人知识及工作智能助理，从而让您的日常办公、生活、学习更加便捷。

本文包括如下内容：

1. “重新定义个人智能助理：应用场景”

2. “隐私保护与数据安全：构建可信赖的AI系统”

3. “人工智能底座：搭建基于OLLAMA的大模型llama3.1 - 8b”

4. “搭建个人知识及工作智能助理：使用OBSIDIAN+OLLAMA”

重新定义个人智能助理：应用场景

一说起智能助理大家想到的是智能家居、健康监测、购物、教育等，范围是非常大的，为了更聚焦和落地一些，在这里我们把范围约束的更小一点。我本人是一名产品解决方案方案专家，因此日常的工作主要聚集在以下几个方面：

1. 必须时时了解行业的新知识、新趋势：包括大模型、智能运维、行业的相关应用等。

2. 为客户提供售前解决方案材料

3. 为项目实施提供售后解决方案材料，包括需求文档 、技术方案等

4. 同客户交互的过程中需要实记录会议记要、项目进展历史

5. 进行产品设计

6. …

为了满足以上的需求，我们需要一套智能化的系统担任我的日常大脑，帮助我实现：

1. 知识的收集并能够将这些知识进行有效的组织和存储，并能够实各种知识的有效存储。需要一个高效的知识及内容管理系统：

2. 需要一个安全的人工智能分析引擎，并在进行知识管理、知识应用过程中提供智能化场景支持，如：

• 中英文翻译：如下图所示，选中文档内容，ctrl+M弹出智能助手菜单，选择“翻译 - 中文“即可

下图为生成的中文翻译结果：

• 生成标题：如下图所示，有时候我需要将总结的知识进行分享，在分享的过程中需要一个比较容易推广的标题 。因此我可以先生成一个粗的标题内容，选中该内容，然后在弹出的智能助手菜单中选择”生成标题“，即可按预设的prompt生成10个易于推广的标题。

• 生成内容大纲：如下是通过智能助手针对“基于OBSIDIAN+Ollama搭建个人智能助理“生成的大纲内容

以下是根据给定的文档内容生成章节标题的建议：``   ``**章节1:** "搭建个人智能助理：OBSIDIAN 和 Ollama 的优势"`  `* 内容：介绍 OBSIDIAN 和 Ollama 背景、特点和优势，吸引读者关注这些技术的潜力。``   ``**章节2:** "OBSIDIAN 和 Ollama 的技术原理"`  `* 内容：详细解释 OBSIDIAN 和 Ollama 的核心技术，如 AI 模型、自然语言处理和人工智能等概念。`  `* 逻辑顺序：这部分将提供必要的技术基础，使读者能够理解后续章节。``   ``**章节3:** "搭建个人智能助理：实施步骤和挑战"`  `* 内容：介绍如何实施 OBSIDIAN 和 Ollama，包括设置、训练和优化个人智能助理等细节。同时，也将讨论可能遇到的挑战。`  `* 逻辑顺序：在理解了技术原理后，这部分将指导读者完成实际操作。``   ``**章节4:** "案例研究：OBSIDIAN 和 Ollama 在实际应用中的表现"`  `* 内容：通过具体的案例来展示 OBSIDIAN 和 Ollama 在现实世界中有哪些影响。例如，改进决策流程、自动化任务等。`  `* 逻辑顺序：此部分将以感性的方式展示这些技术在现实中的运用。``   ``**章节5:** "未来的展望和结论"`  `* 内容：总结 OBSIDIAN 和 Ollama 的发展潜力以及个人智能助理的前景。`  `* 逻辑顺序：最后这一部分将概括整个内容，并为读者提供一个全局视角。``   ``以上这些章节标题应满足您的要求。请告诉我，您是否还有其他问题或需要进一步帮助！

• 生成行为项：如下图是针对一篇会议记要，生成的会议记录中的行动项内容

• 内容总结：略，可以对文档的内容进行总结 ，我的布博士公众号发文章时，一般会有一个120字的总结内容，我一般会让CHATGPT来帮我生成。

• 内容优化：略， 可以对文案的内容进行表达上的优化，如按专家口吻、按小学生的理解能力等。

• 写作：略，可以针对一个题目来进行内容写作。

• 修正拼写和语法：略，主要用于发现文章内容中的语法和拼写错误。

• …

**隐私保护与数据安全：构建可信赖的AI系统
**

AI PC 的神话和隐私危机

近半年来，大型科技公司如微软和谷歌频繁宣传 AI PC 的概念，他们声称，AI 更懂你，会记录计算机上你的每一步操作，并预测下一步的动作。但是，这些公司的背后驱动的是一个更复杂、更危险的过程。

背后涉及到的隐私数据处理流程

这些公司通过 AI 代理（智能体）来收集个人隐私数据，并将其提供给强大的 AI 大脑。这个大脑使用所收集的数据进行决策，然后又将信息传递回智能体，让它为各种动作做出反应。

危险之处

这种数据处理流程不仅具有侵犯隐私的风险，如果数据处理不当不仅会对个人造成危害甚至可能还会涉及企业数据安全风险。随着 AI 的发展，个人数据将成为极具价值的资产，而那些收集并利用这些数据的公司，将有能力掌控我们的生活节奏。

注意和警惕

不要被 AI PC 的迷雾所吸引，忽视隐私数据的流产及其潜在危险。我们需要小心地观察、思考，并保护自己的个人信息，以免落入那些不法之人的手中。

人工智能底座：搭建基于OLLAMA的大模型 llama3.1-8b

为了实现应用场景和保障隐私安全，我建议构建如上图所示的个人智能助理系统：

• OBSIDIAN：实现个人的全面知识管理，包括知识收集、存储。

• LLM引擎 - Ollama：实现本地的大模型引擎，实现智能场景。

Ollama的详细安装在这里我不再缀述，可以参见我的公众号文章《ollama实现开源大模型本地化安装部署:https://mp.weixin.qq.com/s?__biz=Mzg2NzU2MDcwNg==&mid=2247484178&idx=1&sn=658c813080fa3af8a6bfeeb1ab81502d&chksm=ceb8ff7ff9cf7669bec6a05d6f6db7f891c211b95a38480f2c7e7155aa7e5c6e29e008c3eb15&token=325608985&lang=zh_CN#rd》。WINDOWS系统和MAC系统的安装方法都差不多，非常简单。

在本地计算机我安装了如下的大模型：

在本地运行时，我推荐使用LLama 3.1-8B模型（也称为LLama 3.1: LATEST），该模型在所有测试场景中的表现都相当出色。

我的OLLAMA本地化部署配置

为了实现OLLAMA的本地化部署，对计算机的硬件配置有一定要求。我个人的主机配置如下：

• CPU：I7 14700KF（满足运行4090显卡的最低要求）。

• GPU：技嘉 4090 满血版，24GB显存。如果运行8B以下的模型，可以选择16GB显存。预算有限的情况下，AMD显卡也是不错的选择，性价比更高。

• 内存：64GB（如需处理大规模数据或运行深度学习算法，可扩展至128GB）。

• 固态硬盘：速度为7000M/秒。

不同模型的响应情况

• LLama 3.1-8B和Phi 3:14B：运行速度非常快，能在秒级响应和处理指令。

• Gemma 2:27B：速度稍慢，但不影响阅读体验。

• LLama 3.1:70B：显著影响使用体验，每次指令会使4090显卡满负载，CPU占用约70%，内存占用约60%，在当前配置下运行该模型时，其它指令几乎很难运行，如截屏。

各大模型对计算机资源的要求（不考虑多并发情况）

• LLama 3.1: Latest（8B）：建议至少10GB显存和20GB内存。

• LLama 3.1: 70B：建议至少40GB显存和80GB内存。

• Phi 3:14B：建议至少16GB显存和32GB内存。

• Gemma 2:27B：建议至少24GB显存和48GB内存。

搭建个人知识及工作智能助理：使用OBSIDIAN+OLLAMA

1. 安装 obsidian：可以从官方网站http://www.obsidian.md官方网站进行下载：

像普通的软件一样，安装运行即可，如下图所示，我事先在本地构建了一个本地知识仓库放到D:\15-obsidian，直接打开即可，如果没有构建的话，可以点击创建以创建一个新的本地仓库：

2. 运行OBSIDIAN：安装完成之后，可以看到一下如下图所示的应用界面，最左侧是不同的知识目录，中间是编辑区域，右侧是构建的知识内容的章节列表

3. 安装local gpt插件：要实现个人智能助理，需要将OBSIDIAN同OLLAMA做集成，在这里我用到了LOCAL GPT插件，需要在设置中找到插件管理

点击浏览按钮，可以查找local gpt，如下图所示，双击安装即可：

4. 配置local gpt：

首先，配置AI provider，在这里选择ollama

• ollama URL：由于是个人PC，未使用远程的服务，因此使用的http://localhost:11434

• default model：会自动从ollama server上获取可用的大模型列表，在这里我们选择llama3.1。

完成以上步骤后，即可实现Obsidian与Ollama的集成。但要构建智能助理，还需要设置一系列智能操作（即Local GPT中的Actions）。这些操作的设置非常简单，只需创建相应的系统提示词（System Prompt）和用户提示词（User Prompt），即可实现所需的功能（基于人工智能的程序设计，基本不需要写一条代码，即可完成这些智能化的操作）。

在这里我构建了10个ACTIONS，都是通过自然语言的描述即可完成的，下图为10个ACTIONS列表。

5. 可以对ACTION进行编辑和新建，下面我们以翻译这个功能为例来介绍一下构建过程：

模型选择（Model Optional）：根据不同的操作（ACTION），可以选择合适的模型。例如，对于文本内容生成，可以选择LLama 3.1，而对于代码生成，可以选择LLama 3.1的编程微调版本。

• 操作名称（Action Name）：在智能助理菜单中，操作项的显示名称。在这里我们设置为“翻译 - 中文”，表示将英文翻译为中文。用户也可以选择其他语言，如英文、德文等。

• system prompt optional：在未经过微调的大模型中，提示词至关重要。一个好的提示词可以更有效地激发大模型的能力。以下是一个用于将英文翻译成中文的提示词示例，供参考：

任务描述:``翻译英文文本为中文。翻译需要准确传达原文信息，保持原文的语气和风格，确保中文文本自然流畅，并适应中文语境。``   ``翻译要求:``   ``准确性: 确保翻译内容与原文完全一致。``流畅性: 中文翻译应符合中文语法和语言习惯。``语气和风格: 保持原文的语气和风格，包括正式、非正式、幽默等。``文化适应性: 针对文化特定的内容，提供合适的中文解释或等价物。``完整性: 不遗漏原文中的任何重要信息。``   ``注意事项:``避免逐字翻译，确保句子结构符合中文表达方式。``确保技术术语或专有名词的翻译准确，如有必要保留原文。``翻译后检查语法和拼写错误。

• prompt：用户提示词，具体的用户指令

请将英文段落翻译为流畅且自然的中文。``   ``翻译要求:``   ``准确传达原文信息。``保持原文的语气和风格。``确保中文文本自然流畅。``请在翻译后进行检查，以确保译文的完整性和准确性。

6. 修改Actions，内容总结 ：

7. 为个人智能助理配置快捷键：如下图所示，我们为"local GPT：show context menu"配置快捷键为ctrl+m，这样当我们在编辑文档的任何过程中，可以快速的打开个人智能助理。

8. 个人智能助理使用，我们以翻译为例：选中如下文本内容按ctrl+m打开智能助手菜单 ，选择”翻译-中文“

 `````译文如下：``You can leverage the editing capabilities of Obsidian and the large model capabilities of LLaMA to create a customized intelligent assistant. This is an incredibly powerful tool that can help you boost your productivity and creativity.

下一步

增强如下内容：

• 在 Obsidian 中集成 Stable Diffusion 3：直接在 Obsidian 中实现与 Stable Diffusion 3 的集成，提升图片生成能力，增强内容创作的视觉效果。

• 增强 Obsidian 的知识搜索功能：提供全面的搜索功能，以便更好地应用和管理存储的笔记和知识。例如，笔记中记录了家庭成员的身份证图片，用户可以通过搜索“身份证”直接找到相关笔记内容。

• 实现交互式数据分析与探索：在 Obsidian 中实现与分析型数据库的集成，通过交互式对话进行数据分析和探索，并利用本地大模型根据需求描述生成分析代码。

• 任务下达与执行能力：在 Obsidian 中实现通过聊天方式下达任务和执行操作的能力。例如，通过 Google API 查询相关内容，并利用本地大模型对查询结果进行综合分析，提供最终答案。

• 代码生成与调试功能：在 Obsidian 中实现交互式的代码生成能力，并在 Docker 沙盒中模拟运行和调试代码，最终输出可正确执行的代码。

• 操作Agent能力： 可以集成不同角色的智能代理（Agent），根据用户下达的指令，利用大模型驱动来执行各类智能代理，从而高效、智能地完成各种作业任务。这一能力实现了任务的自动化和智能化。

具备上述能力的系统，方可称为真正意义上的个人智能助理。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】