RAG | 使用知识图谱和大模型把书读透了

使用知识图谱和大模型把书读透了

01.前言

今天，既不讲技术，也不讲产品，就是分享一个有意思的事情。

读书、学习、做研究、学以致用做产出是每个人在知识领域的循环。作为一个重度的知识工作者，梦想有一个聪明的助手帮我们来“读书、理解”，最好能以费曼的方式和我们探讨，甚至最终和我们协作一起搞创造。

最近，我们做了一个实验，应用当前关注的RAG结合提取出的知识图谱来读书，发现结果很有意思。当然，为了和人类能够交互，需要一个大模型和我们进行问答。

考虑到未来可能的数据安全性，以及不得不考虑的成本问题，我这里部署了一个私有的大模型（gemma2）来做应答。这个大模型远远小于产品级的大模型（如ChatGPT，Claude），并不是直接和这些模型进行对标，当然也可以直接用ChatGPT加上知识图谱。这个系统提供的价值主要是：

• 使用一个可以在家用显卡上可以部署的模型，加上知识图谱和RAG可以产生和这些大两个数量级100倍以上的商业产品同样优秀的问答结果。

• 阅读数据和做科研的数据往往是隐私数据，很多时候并不能直接使用ChatGPT这样的商业产品。

• 使用RAG可以限定聊天的范围，你不需要整个互联网的数据来进行一个有意思的对话。

• 使用知识图谱可以让对话有上帝视角，在一定程度上更加有“深度”和全局观。

为了让大家感受到效果，这里选择了一本所有人都应该知道的书《哈利波特和魔法石》来作为例子。这本书是哈利波特系列的第一部，总共大小是443KB，共计78,828个英文单词。

接下来做了以下几件事：

• 我们抽取了这本书中知识图谱。也就是把书中的人物、事件、活动，以及相应的关系和描述都使用大模型进行了提取。

• 为这本构造了检索数据库。或者说应用RAG的基础，用于根据我们的问题，可以找到相应的文章内容。

• 为了检测知识图谱+大模型是否可以很好的理解书中的内容，又使用大模型设计了一系列的有深度的问题，或者说阅读理解的题目。

• 在知识图谱上应用RAG的方法对提出的问题进行回答。

• 为了方便大家阅读，对问答的过程翻译成中文实录如下。

大家也可以自己测试一下对哈利波特这本书的理解程度如何。如果忘记了，可以带娃一起重温一下这本书或电影。：）

BTW：以上过程全部自动化。

02.实录

从书中提取的知识图谱预览如下：

图中不同颜色的点表示了不同的实体（Entity），例如粉红色是人物（people），绿色表示地点（Location），以及事件（Event）等。

图中点之间的连线，表示两个实体之间的关系，以及描述这个关系的文段等更多信息。

使用大模型设计的阅读理解题目如下：

系统对这些题目的应答结果（实录，无修改）。注意，为了方便阅读，系统的回答已经翻译成中文，如对英文结果有兴趣，可以跟我们联系。

1. 故事背景：哈利·波特在故事开始时住在哪里？他的生活状况是怎样的？

在《哈利·波特》系列的开头，哈利和他的姨妈、姨父、堂兄弟德思礼一家住在萨里郡小惠金区女贞路4号。

哈利的生活状况被描述为悲惨的。德思礼一家对魔法有偏见，因为哈利是巫师，他们对他很差。他们让他睡在楼梯下的橱柜里，并禁止他与他人有任何接触，试图让他与外界隔绝。他们不断地贬低他，责骂他，甚至体罚他。他们还拒绝承认他的生日，把他当作一个不必要的负担。

从本质上讲，哈利和德思礼一家的生活充满了忽视、虐待和孤立。他渴望一个能让他感受到爱和接受的地方。

2. 主要角色：请列举故事中的主要角色，并简要描述他们与哈利的关系。

《哈利·波特》系列拥有丰富的角色阵容，每个角色在哈利的旅程中都扮演着重要的角色。

亲密的朋友和家人:

哈利最亲密的伙伴是罗恩·韦斯莱和赫敏·格兰杰。他们从小就是他最好的朋友，在信任和冒险的基础上分享着深厚的感情。罗恩忠诚、有趣，无论艰难还是艰难，总是陪伴在哈利身边;赫敏聪明、足智多谋，经常讲道理，提供智力支持，帮助哈利应对魔法挑战。霍格沃茨的校长阿不思·邓布利多是哈利的导师，以智慧和保护引导他走过这段旅程。他认为哈利是打败伏地魔的关键人物。小天狼星布莱克，哈利的教父，被错误地指责背叛了他的父母，在多年的孤立之后，成为哈利的父亲形象，提供爱和支持。

敌人和对手:

伏地魔(汤姆·里德尔饰)是主要的对手，他谋杀了哈利的父母，并试图杀死他。他代表着纯粹的邪恶，痴迷于权力和不朽。西弗勒斯·斯内普是霍格沃茨的魔药课老师，他和哈利的关系很复杂。他最初表现出敌意，但他的真实动机在随后的系列中被揭示出来。

其他重要角色:

鲁伯·海格，霍格沃茨的半巨人猎场看守人，作为哈利的保护者，把哈利介绍给了魔法世界。纳威隆巴顿，一个害羞的格兰芬多学生，在整个系列中变得更加勇敢，并在与伏地魔的最后战斗中发挥了关键作用。德拉科·马尔福，哈利在霍格沃茨的竞争对手，是一个经常欺负他的纯血统至上主义者。

3. 魔法世界的发现：是谁向哈利揭示了魔法世界的存在？他是如何做到的？

哈利·波特进入魔法世界是由霍格沃茨魔法学校的半巨人猎场看守鲁伯·海格精心策划的。

海格在哈利十一岁生日的时候向他揭示了这个隐秘的世界。他来到哈利家门口，高高在上，举止友好。他告诉哈利，他是个巫师，已经被霍格沃茨录取了。海格解释了魔法世界的一切，包括他的父母死于伏地魔之手，他自己因母亲的牺牲而幸存下来，以及他作为“大难不死的男孩”的命运。

然后，海格邀请哈利去霍格沃茨，并带他疯狂地购买了所有必要的魔法用品。

4. 霍格沃茨入学：哈利是如何被霍格沃茨魔法学校录取的？入学过程中有哪些重要事件？

下面是哈利波特如何进入霍格沃茨的，并对关键事件进行了分析:

1。信件到达:

• 在哈利十一岁生日那天，他收到了一封神秘的信，地址是女贞路四号(他和德思礼一家住在那里)。德思礼一家试图把这些信藏起来，不让他看到，但它们不断以越来越有创意的方式寄来。

2。海格的到来:

• 鲁伯·海格，霍格沃茨猎场看守人，半巨人，终于找到哈利，并透露了他的魔法遗产。他解释说哈利是一名巫师，已经被霍格沃茨魔法学校录取了。

3。对角巷:

• 海格带哈利去对角巷，这是伦敦一条隐蔽的街道，巫师们在那里购买学习用品。

• 哈利从奥利凡德那里得到了他的魔杖(一根非常特别的魔杖!)

• 他为霍格沃茨买书、长袍和其他必需品。

4。古灵阁巫师银行:

• 海格带哈利去古灵阁，巫师银行，在那里他了解到他父母的遗产和一个存放他们财产的金库的存在。

5。9又3/4站台:

• 海格引导哈利来到国王十字车站的9又3/4站台，这是一个通往霍格沃茨特快列车的隐藏站台。

• 要到达那里，你必须直接穿过9号和10号站台之间的栅栏!

6。霍格沃茨特快列车:

• 哈利和其他一年级学生登上霍格沃茨特快列车，开始了他去霍格沃茨城堡的旅程。

如果你想了解更多关于哈利入学过程的细节，请告诉我!

5. 分院帽：霍格沃茨有四个学院，它们分别是什么？分院帽是如何决定将哈利分到哪个学院的？

霍格沃茨有四个学院。它们是什么?分院帽是如何决定把哈利分到哪个学院的?

你是对的!霍格沃茨魔法学校有四个学院:

• **格兰芬多:**以勇敢、骑士精神、胆识、勇气和决心而闻名。它们的颜色是猩红色和金色的。

• 赫奇帕奇:以勤奋、奉献、耐心、忠诚和公平竞争而闻名。它们的颜色是黄色和黑色。

• 拉文克劳:以聪明、机智、学习、创造力和智慧而闻名。它们的颜色是蓝色和青铜色。

• 斯莱特林:以野心、狡猾、领导能力、足智多谋和自我保护而闻名。它们的颜色是绿色和银色的。

分院帽是如何选择哈利·波特的:

分院帽花了很长时间才决定哈利的学院，因为它感觉到了他身上的勇气(格兰芬多)和野心(斯莱特林)。

• 勇敢:哈利在婴儿时期面对伏地魔并幸存下来，已经表现出了巨大的勇气。

• 野心:哈利也有打败伏地魔的强烈愿望，这可以被视为雄心勃勃。

最终，分院帽决定选格兰芬多，因为哈利自己不希望进斯莱特林。他表示不喜欢这所房子，因为它与黑魔法和伏地魔有关。分院帽尊重哈利的选择，把他安置在格兰芬多，他在那里找到了一群勇敢而忠诚的朋友。

如果你对霍格沃茨还有什么问题，请告诉我!

6. 课程学习：哈利在霍格沃茨学习了哪些课程？请至少列举三门。

哈利在霍格沃茨魔法学校的教育包括各种魔法科目。

他学习了魔咒，这包括学习咒语来影响物体和人。魔药是另一个关键学科，侧重于用特定的成分和说明酿造神奇的混合物。最后，变形教他如何改变物体的形状，这通常需要专注和技巧。

7. 友谊与竞争：哈利在霍格沃茨结交了哪些朋友？他们与哪些角色形成了竞争关系？

哈利在霍格沃茨遇到了谁?他们与哪些角色竞争?

哈利在霍格沃茨交了很多朋友，最著名的是罗恩·韦斯莱和赫敏·格兰杰。罗恩被描述为忠诚，有趣，总是在哈利身边。他们经常一起面对挑战，比如与巨魔作战，解开谜团，面对伏地魔的力量。

赫敏聪明、足智多谋，而且坚持规则。她是三人组的智多星，帮助他们解决问题并应对各种神奇的情况。他们一起与德拉科·马尔福和他的斯莱特林朋友们竞争，他们被描述为傲慢、偏见，经常试图破坏哈利和他的朋友们。他们的竞争源于不同的价值观和背景。

不同的霍格沃茨学院之间在各种活动中也有友好的竞争，比如魁地奇、三强争霸赛和学校考试。最终，哈利的友谊比任何竞争都重要。通过与罗恩和赫敏的交往，他学到了忠诚、勇气和爱的宝贵经验。

8. 尼古拉·弗拉梅尔的秘密：尼古拉·弗拉梅尔是谁？他与故事中的哪个重要物品有关？

尼古拉斯·勒梅是一位著名的炼金术士，曾出现在《哈利·波特与魔法石》中。他与魔法石的关系最为密切。

勒梅创造了魔法石，它有能力把任何金属变成黄金，并创造出长生不老药，让人永生。这使得他在故事中成为一个非常重要的人物，因为伏地魔正在寻找石头来恢复他的身体。

9. 三头犬弗拉：三头犬弗拉守护的是什么？哈利和他的朋友们是如何通过它的？

在《哈利波特与魔法石》中，三头狗弗拉守卫着魔法石。

哈利和他的朋友罗恩、赫敏耍了几个小把戏，成功地通过了路威:

• 音乐:他们发现毛毛被音乐催眠了。哈利吹起了他那支施了魔法的笛子，分散了狗的注意力，让他们有足够的时间溜过去。

• 罗恩的勇敢:当哈利玩的时候，罗恩勇敢地用他在房间里找到的一把剑挡住了路威的一个脑袋。

如果你对《哈利波特》有任何问题，请告诉我!

10. 魔法石的保护：霍格沃茨中有哪些陷阱和谜题是用来保护魔法石的？请至少描述两个。

霍格沃茨魔法石有几个陷阱和谜题，每个都是为了测试不同的技能和知识。

其中一个挑战就是魔鬼的陷阱。这种有知觉的植物会诱捕任何进入它领地的人，像一个致命的拥抱一样紧紧地围绕着他们。要想逃脱，必须用火烧掉藤蔓。哈利用魔杖施了“燃烧”咒，把自己和罗恩从这个危险的陷阱中解救出来。

另一个谜题涉及一系列不断改变方向的浮动键。为了取得进步，学生们必须在钥匙飞过时抓住正确的钥匙。这需要快速的反应和精确的时机。哈利运用他的魔法知识和在压力下保持专注的能力，成功地抓住了正确的钥匙。

除了这两个挑战之外，其他障碍还包括涉及药剂的逻辑谜题，学生必须正确识别特定药剂所需的成分，以及一系列栩栩如生的真人大小的棋子。这个致命的游戏需要战略思维和勇气，因为棋子会用真正的力量攻击。

11. 伏地魔的回归：伏地魔是如何试图利用魔法石恢复力量的？哈利是如何阻止他的？

伏地魔在被哈利的父母打败后变得虚弱，他试图通过魔法石重新获得全部力量。他了解到，魔法石可以让他长生不老，还能制造出长生不老药，让他恢复昔日的荣光。

由于邓布利多的保护，伏地魔无法直接进入霍格沃茨，伏地魔附在奇洛教授身上，作为渗入学校偷走魔法石的棋子。在伏地魔的影响下，奇洛在整个城堡里设置了危险的挑战，旨在测试哈利的能力，并引导他找到魔法石。

哈利凭借智慧、勇气和爱阻止了伏地魔。他凭借自己的魔法知识和勇敢克服了奇洛的陷阱。此外，伏地魔对爱情的憎恨使他在爱情面前不堪一击。当哈利在最后的密室里面对奇洛时，伏地魔虚弱的身体被哈利对父母和朋友的爱所击退。这最终摧毁了奇洛，并再次严重削弱了伏地魔。

魔法石一直被保护着，阻止了伏地魔在那个时候实现他重新获得全部力量的目标。

12. 学期结束：学期末，哈利获得了哪些荣誉和奖励？这些奖励是如何分配的？

在霍格沃茨的第一年结束时，哈利·波特获得了一个重要的荣誉:格兰芬多学院杯。

哈利在打败伏地魔和拯救魔法石的过程中发挥了至关重要的作用。这一英勇行为为格兰芬多学院赢得了本年度的学院杯。赢得学院杯的奖励在书中没有明确的详细说明，但它暗示了获胜的学院获得了骄傲和声望。获得学院杯是霍格沃茨的一项重大成就，给整个学院带来了荣誉和认可。中奖的房子在下一学年也有可能享受一些特殊的福利或优势，尽管这些没有直接提到。

虽然哈利在这一年中表现出了勇敢、技巧和足智多谋，尤其是在面对伏地魔和保护魔法石的时候，但这些行为并没有得到官方的认可，没有获得任何特定的奖项或荣誉。故事的重点是哈利的个人成长和发现，而不是学术成就或竞争认可。

13. 家庭关系：哈利与他的姨父姨妈以及表兄达力的关系如何？这种关系在整个故事中有何发展？

哈利与佩妮姨妈、弗农姨父和堂兄达力的关系以虐待和忽视为特征。

在本系列的开头，佩妮姨妈和弗农姨父把哈利当作负担，为他是巫师而感到羞耻，因为他让他们想起了他们不喜欢的莉莉而怨恨他。他们强迫他住在楼梯下的橱柜里，不给他适当的食物、衣服和感情。达力被宠坏了，他无情地欺负哈利，他的父母对哈利的痛苦漠不关心，这鼓励了他。

在整个故事中，这种待遇基本上是一致的，尽管有一些时刻他们表现出一丝担忧甚至是不情愿的接受，通常是当哈利的魔法能力变得不可否认并威胁到他们精心构建的正常状态时。哈利的霍格沃茨之行与他在德思礼一家的生活形成了鲜明的对比。他在霍格沃茨找到了爱、友谊和接纳，这激发了他逃离悲惨家庭生活的欲望。

他们关系的关键发展包括海格的到来，他透露了哈利的魔法遗产，并邀请他去霍格沃茨。这标志着一个转折点，因为德思礼一家对他的敌意变得更加强烈，担心暴露和破坏他们的生活。随着哈利学会了更多的魔法，他对德思礼一家的依赖也越来越少。他可以保护自己不受达力的欺负，甚至可以使用魔法逃脱他们的魔爪，进一步将他们与他隔离。在《哈利·波特与死亡圣器》中，当伏地魔袭击他们的家时，德思礼一家被迫面对哈利魔法世界的现实。虽然他们最初试图否认一切，但他们最终接受了哈利的命运，并为他提供了一定程度的保护。

最后，尽管有短暂的联系，德思礼一家还是无法真正接受哈利。他们的恐惧和怨恨使他们分开，留下哈利在一个爱和接纳无处不在的世界里开辟自己的道路。

14. 神秘事物：故事中有哪些未解之谜或暗示了后续故事发展的线索？

《哈利波特》的世界充满了有趣的谜团，即使在最后一本书出版多年后，这些谜团仍然吸引着粉丝们。

字符奥秘:

最持久的问题之一是邓布利多的过去。虽然我们了解了他的生活和选择，但他某些行为的动机仍然不清楚。比如，为什么他让哈利这么多次面对伏地魔?他和格林德沃的真正关系是什么?

另一个谜团围绕着掠夺者——詹姆·波特、小天狼星·布莱克、莱姆斯·卢平和小矮星彼得。故事暗示了他们在霍格沃茨期间的复杂关系和冒险，但他们之间到底发生了什么，导致了如此深刻的背叛和秘密?

最后，纳威隆巴顿的潜力是人们猜测的一个话题。他在整个系列中表现出了令人难以置信的勇气和魔法能力，在击败伏地魔的关键角色中达到高潮。但是，如果哈利没有给他蒙上阴影，他又能取得什么成就呢?

魔法世界之谜:

魔法本身的历史在很大程度上仍未被探索。霍格沃茨的起源是什么?世界各地不同的魔法社会是如何发展起来的?还有无数被提及的看不见的生物——它们是什么样子的?他们住在哪里?

魂器的本质是另一个有待进一步探索的领域。我们了解了创造它们的过程，但它们真正的局限性是什么?除了分裂灵魂之外，还有其他方法可以获得永生吗?

线索和提示:

散落在整个系列中的一些线索暗示着更深层次的谜团。关于哈利和伏地魔的预言是故事的中心，但它的全部含义是什么呢?它真的决定了他们的命运，还是他们有自由意志?有求必应屋似乎有自己的感觉——它的真正目的是什么?它会不会藏有魔法世界的过去或未来的秘密?最后，邓布利多使用冥想盆提出了问题——它会被用来获取丢失的知识，甚至与死者交流吗?

这些只是众多未解之谜和诱人的线索中的一小部分，这些线索继续吸引着哈利波特的粉丝。这个系列的美妙之处在于它能够激发读者的想象力，鼓励读者更深入地探索J.K.罗琳创造的魔法世界。

15. 主题和寓意：你认为《哈利·波特与魔法石》的主题是什么？它传达了哪些重要的信息或价值观？

《哈利·波特与魔法石》的主题围绕着爱、友谊和战胜邪恶的勇气的力量展开。

几个关键的信息和价值观贯穿整个故事:

• 爱征服一切:哈里在婴儿时期因母亲的爱而幸存下来是一个中心主题。这种爱在整本书中都是对抗伏地魔的强大保护。

• 友谊的重要性:哈利在他的朋友罗恩和赫敏身上找到了安慰和力量。他们的忠诚和支持对他的成功至关重要。

• 面对恐惧的勇气:哈里多次勇敢地面对危险情况，即使他很害怕。他明白了真正的勇气不是没有恐惧，而是不顾恐惧的行动。

• 善恶之争:这本书呈现了一个清晰的善与恶的冲突，分别以哈利和伏地魔为代表。它强调了选择正确道路的重要性，即使它很困难。

• 接受和归属:哈利在霍格沃茨找到了一个家和家人，在那里他被接受了，尽管他有过去。

• 选择的力量:贯穿整本书，人物都面临着决定他们命运的选择。哈利对抗伏地魔的决定最终决定了结局。

总的来说，《哈利波特与魔法石》是一个关于希望、坚韧和正义战胜邪恶的故事。它教会了我们关于爱、友谊、勇气以及做出道德选择的重要性的宝贵课程。

这是一个有意思的结果，可以想象到很多直接可以应用的场景。我很期待把它应用在生物科技的内容中会有如何的表现。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】