构建个人的wiki知识库

本文探讨了在数字化时代,如何通过构建个人wiki(如MixCopilot和Obsidian)以及利用LLM技术,实现个性化信息搜索和管理,避免平台推荐广告,提升学习效率。PageRank算法和人工智能也被提及作为关联文章的关键方法。
摘要由CSDN通过智能技术生成

‍‍

‍‍‍构建自己的个人wiki在当今社会变得越来越重要。人类一直在创造知识,并通过书籍进行传播。

而随着计算机的出现,知识开始被数字化,电子书和wiki百科等网站将碎片化的知识整合成了体系化的形式。

随着移动互联网和社交媒体的兴起,获取知识变得更加容易。同时,社交媒体和搜索引擎的普及,使得我们可以获得更广泛的信息,超越了传统的纸质书籍和图书馆的限制。

我们每天都在互联网上产生大量的信息。当我们需要查找信息时,通常会使用搜索引擎。

而随着LLM大语言模型的发展,我们也开始将搜索引擎与这些技术结合使用。

搜索引擎 + LLM 

然而,搜索引擎的商业模式导致其中会夹杂着平台推荐的广告信息。因为搜索引擎并不属于我们个人,而是属于大型平台。

那么,如何才能拥有属于自己的搜索引擎呢?自由定义自己的信息来源和处理规则?

答案就是构建个人的wiki。

通过构建自己的wiki,我们可以自由地整理和管理我们的知识。我们可以根据自己的需求和兴趣,自定义信息的来源和处理方式。这样一来,我们就能拥有属于自己的搜索引擎,不再受制于大型平台的推荐和限制。

通过个人wiki,我们可以更好地组织和利用知识,提高自己的学习和决策能力。这几天,我尝试使用MixCopilot和obsidian,构建了创建个人wiki的工作流程。

9c95c964707fcaff253f07d6578cb5c3.gif


MiX Copilot是一款能够帮助用户定制自己的信息来源并进行高效的信息收集和管理的工具。它提供了多种GPT来帮助用户快速整理和分析大量数据。

https://www.mix-copilot.com

Obsidian是一个强大的工具,创建连接,可以链接各种各样的东西,如思想、人物、地点、书籍等,让你拥有个人的维基百科。Obsidian提供了图谱功能,可以将笔记之间的关系可视化,发现思维中隐藏的模式。

1 / 

通过mixcopilot的知识矿工

定义信息来源

自动化获取信息

然后配合GPT进行信息的加工处理

导出本地的知识库

2 /

Obsidian 可视化图谱显示和阅读。

077e4c52bcabd511f7236946f4cded90.png

如何让文章之间产生关联?核心原理,来自PageRank

PageRank是一种由谷歌公司创始人拉里·佩奇和谢尔盖·布林共同提出的算法,用于评估网页的重要性。它是一种基于链接分析的算法,通过分析网页之间的链接关系来确定网页的排名。

PageRank的基本原理是,一个网页的重要性取决于它被其他重要网页所链接的数量和质量具体来说,PageRank通过计算每个网页的入链数量和入链质量来评估其重要性。入链数量指的是指向该网页的链接数量,入链质量则是指指向该网页的链接来自于其他重要网页的程度。

PageRank的计算过程可以简述为以下几个步骤:

初始化:为每个网页分配一个初始的PageRank值。

迭代计算:通过迭代计算的方式,不断更新每个网页的PageRank值。在每一次迭代中,每个网页的PageRank值都会根据其入链数量和入链质量进行调整。

收敛:当每个网页的PageRank值不再发生显著变化时,算法收敛,计算结束。

在计算过程中,PageRank还考虑了链接的权重分配问题。即,来自于重要网页的链接会被赋予更高的权重,从而提高被链接网页的重要性。

当然,让文章之间产生关联,还有人工智能的解决方案。有一篇关于使用人工智能来验证信息的论文:

人工智能可以帮助人类验证世界知识吗?#verify_wikipedia

论文

Improving Wikipedia verifiability with AI

维基百科是地球上使用最广泛的知识集合之一,在志愿者和专家编辑的支持下,这是一项令人难以置信的集体努力。维基百科是可验证的,信息来源有大量的引用支持,以便“使用百科全书的人可以检查信息是否来自可靠的来源”。


然而,确保维基百科的可验证性的任务是艰巨的。专家编辑目前依靠志愿者的工作,截至目前,维基百科上有超过 500,000 条语句被标记为“需要引用”。

在论文中,作者展示了机器可以协助编辑完成引用的校对和建议——

发现有问题的引用并提高其可验证性。


e030259512b22f069424301def447caa.png

SIDE

一种基于人工智能的系统,旨在提高Wikipedia引用的可验证性。通过使用信息检索系统和语言模型,SIDE可以识别Wikipedia引用中不太可能支持其主张的引用,并从网络中推荐更好的引用。

在mixcopilot里,我们可以通过工作流实现让GPT对文章进行关联性的处理,作为前面提到的pagerank的进阶版。


可视化的知识图构建好了,剩下的,我们下期继续。

相关推荐

什么是RAG?私有化的wiki百科AI助手

RAG的5种文本分块策略#Text Splitting

每天产生想法的系统,有了MixCopilot加持,实现了!#Copilot3.0发布

‍‍

——

恭喜你看到最后,请加入社群

89e6b881f9e11ad8b0187bbf40725ab9.jpeg

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值