Obsidian+llama3：终于搭建了自己的知识库

最新推荐文章于 2024-10-01 14:40:00 发布

程序猿李巡天

最新推荐文章于 2024-10-01 14:40:00 发布

阅读量1.2k

点赞数 22

文章标签： gpt langchain 人工智能 chatgpt 流程图

本文链接：https://blog.csdn.net/m0_59235945/article/details/139812603

版权

1 引言

这两周，价格更亲民的 gpt-4o 和性能显著提升的 llama3 的推出，使许多东西发生了变化。就像古代人在收割麦子时，扭头看见一收割机。想到自己的那些微小的优化，与这些新技术相比，又算得了什么呢？也会开始怀疑自己的方向和价值。

优化过程中又发现了一个神仙插件：Obsidian 的 Smart Connections，超出了我原本的预期，于是结合新模型非常方便地搭建了我的个人知识库。之前老是炫着玩儿现，在是真能解决具体问题了。

具体优势如下：

操作简便，无需自己建立向量数据库或进行向量转换
可针对特定文档提问
具有基于向量的模糊搜索能力
可通过 ollama 调用本地模型，使用它不产生任何费用（除了电费）

2 思考过程

2.1 搜索

很早就觉得 Obsidian 搜索实在太费劲了。因为我的内容比较多，查找非常费时；还必须输入完全一致的关键词；如果查找一个常见词，则会返回大量不排序的文档。虽然后来使用的 ominisearch 插件用机器学习算法来建立索引，搜索效果有所改善，但与基于词义的大模型搜索相比，仍然相差很远。

2.2 知识库

一直想做一个个人知识库，RAG，想要那种可以随身携带的知识库；把所有东西都以干净的文本形式整合到一起；方便检索；在笔记之间建立联系，半自动产出。

我的大部分文档都存储在 obsidian 里，主要是 md 格式。这些文档已经有一定的分类和标签，所以从理论上讲，已经具备了必要的数据。但是还面临一些问题：

需要将文本转换为词向量，方法很多，细节很多，上手容易做好难。
需要自己搭建和维护向量库存储信息，存储和检索方法众多，更新迭代速度很快。
如果需要随身携带，可能还需要部署，细节也比较多，比较麻烦。

如果做成产品，Obsidian 的用户群体相对较小。如果仅为自己使用，需要投入大量时间，成本过高。之前又没找到现成的工具，这两天朋友推荐了 Smart Connection，它基本上可以解决上述的多数问题，而且一会儿就搭起来了。

2.3 基于 Obsidian 做 RAG

使用 Obsidian 创建个人知识库比构建常规的 RAG 更为简单：

内容基本都是自己手敲的 markdown 纯文本，所以不存在格式转换问题。
由于 Obsidian 中主要存储的是个人笔记，数据量相对较小，因此对嵌入和搜索的要求并不高。
根据搜索到的资源组织生成答案。这个功能类似于阅读理解，与大模型内部的知识储备关系不大，主要依赖于模型的语言和认知能力。我觉得 gpt-3.5 已经足够满足这个需求，这次试了 llama3，效果也可以。

3 Obsidian 插件 Smart Connections

本次具体实现使用了 Obsidian 插件 Smart Connections + ollama(llama3)/gpt-4o 的组合。

3.1 信息

项目地址：https://github.com/brianpetro/obsidian-smart-connections
热度：github 1.9K star，Obsidian 官方插件下载量：16W+
代码：用 Javascript 实现，目前 3000 行左右

安装后，开始自动生成 Embedding，右侧栏出现操作面板。

3.2 支持的模型

不得不赞一下作者手速，昨天 GPT-4o 刚刚发布，今天就支持了，帮大家省了钱（GPT-4o 的速度是 GPT4 的两倍，费用却只有一半）。并且只要接口与 openai 的模型相同，均可使用，哪个性价比高就用哪个。目前支持模型如下：

3.3 问题与解答

3.3.1 本地 ollama 用不了

很可能是设置出了问题，主要需要确保 path 设置正确，请参考如下设置。如果问题仍然存在，可以使用 Ctrl+Shift+i 打开调试界面，查看日志信息。

3.4 功能介绍

3.4.1 搜索/动态代码块

提供两种查找方式：按文档查找和按块查找。可以在笔记中加入如下代码，返回的文档列表会直接显示。

 ```smart-connections ``待搜索的关键字或问题`` ```

3.4.2 关联

通过 Smart View，可显示与我当前正在处理的笔记相关的笔记，以供参考和建立新的连接。右侧栏将列出所有相关的笔记，并按语义相似度排序。

3.4.3 问答

可能由于右侧栏仅占屏幕的 1/3，对于普通的问答，用着还是有点不方便。更推荐针对个人的知识库进行提问：

运用关键词，来从笔记中找寻答案，例如：I, me, my, mine, we, us, our, ours
基于本地笔记 xxx，可以这样提问：Based on my notes…
如需对当前文档进行总结，可以这样提问：`Summaries [[文件名]]
常用的提示词都在聊天输入框的灰色示例

推荐一个有趣的玩法：问问它 “Who am I？”。它会根据你的笔记，进行多方面的总结，比如你的兴趣爱好，个人生活，工作，理财习惯，以及个人习惯等等（只要你笔记里包含这些内容）。关键是回答的还有点靠谱。由此可推断，它并不仅仅对单个文件进行了简单的嵌入，还对你的文档进行了分类，抽象和概述，这……细思极恐

4 总结

在这波更新之后，我们可以看到，本地大模型已经基本达到了平均人类智力的水平。通过 Smart Connections，不仅建立了个人知识库，还学习了简单 RAG 的设计思路和具体实现方式。它的交互设计也挺自然的，而且学习成本也不高，很赞！

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述