实现RAG:使用LangChain实现图检索查询

你是不是有时会遇到这样的问题：你可能遇到的任何主题或问题，都有大量的文档，但是当尝试将某些内容应用于自己的用途时，突然发现很难找到所需的内容。
在这篇博文中，我们将看一下LangChain是如何实现RAG的，这样你就可以将相同的原理应用到任何带有LangChain和LLM的应用程序中。

什么是RAG

该术语在当今的技术领域中使用得很多，但它的实际含义是什么呢?以下是来自不同来源的一些定义:

“检索增强生成(RAG)是优化大型语言模型输出的过程，因此在生成响应之前，它会参考训练数据源之外的权威知识库。” — AWS

“检索增强生成(RAG)是一种利用从外部来源获取的事实，提高生成式人工智能模型的准确性和可靠性的技术。” — 英伟达

“检索增强生成(RAG)是一个人工智能框架，通过将模型建立在外部知识来源上，以补充法学硕士对信息的内部表示，从而提高法学硕士生成的响应的质量。” — IBM研究院

在本篇博文中，我们将关注如何编写检索查询来补充或支撑LLM的答案。我们将使用Python和LangChain，一个用于编写与llm交互的生成式AI应用程序的框架。

数据集

首先，让我们快速浏览一下我们的数据集。我们将处理来自EDGAR(电子数据收集、分析和检索系统)数据库的SEC(证券交易委员会)文件。美国证券交易委员会提交的文件是一个信息宝库，包含财务报表、披露信息和其他有关上市公司的重要信息。

这些数据包含已向SEC提交财务报表(10k、13等)的公司。不同的经理持有这些公司的股票，这些公司属于不同的行业。在财务表格本身中，文本中提到了各种各样的人，我们将文本分解为更小的块，以便向量搜索查询处理。我们将每个文本块放在一个表单中，并创建了一个向量嵌入，该向量嵌入也存储在chunk节点上。当我们运行向量搜索查询时，我们将查询的向量与CHUNK节点的向量进行比较，以找到最相似的文本。 

检索查询示例

我使用了一些资源来帮助我理解如何在LangChain中编写检索查询。第一篇是Tomaz Bratanic的博客文章，他写了一篇关于如何使用维基百科文章数据在LangChain中使用Neo4j矢量索引的文章。第二个是来自GenAI Stack的查询，它是使用Docker构建的演示应用程序的集合，并利用包含技术问题和答案的StackOverflow数据集。

所有查询都包含在下面：

# Tomaz's blog post retrieval query
retrieval_query = """
	OPTIONAL MATCH (node)<-[:EDITED_BY]-(p)
	WITH node, score, collect(p) AS editors
	RETURN node.info AS text,
    	score, 
        node {.*, vector: Null, info: Null, editors: editors} AS metadata
"""

# GenAI Stack retrieval query
retrieval_query="""
	WITH node AS question, score AS similarity
    CALL  { with question
    	MATCH (question)<-[:ANSWERS]-(answer)
		WITH answer
		ORDER BY answer.is_accepted DESC, answer.score DESC
		WITH collect(answer)[..2] as answers
		RETURN reduce(str='', answer IN answers | str + 
			'\n### Answer (Accepted: '+ answer.is_accepted +
			' Score: ' + answer.score+ '): '+  answer.body + '\n') as answerTexts
    }
    RETURN '##Question: ' + question.title + '\n' + question.body + '\n' 
    	+ answerTexts AS text, similarity as score, {source: question.link} AS metadata
    ORDER BY similarity ASC // so that best answers are the last
"""

现在，请注意，这些查询看起来并不完整。我们不会用可选的MATCH或with子句启动Cypher查询。这是因为检索查询被添加到向量搜索查询的末尾。

read_query = (
    "CALL db.index.vector.queryNodes($index, $k, $embedding) "
    "YIELD node, score "
) + retrieval_query

因此，LangChain首先调用db.index.vector.queryNodes()(更多信息见文档)来查找最相似的节点，并传递(YIELD)相似节点和相似度分数，然后将检索查询添加到向量搜索查询的末尾，以提取额外的上下文。了解这一点非常有帮助，特别是当我们构造检索查询时，以及当我们开始测试结果时!

第二件要注意的事情是，这两个查询都返回相同的三个变量:文本、分数和元数据。这是LangChain所期望的，所以如果没有返回，您将得到错误。文本变量包含相关文本，分数是块与搜索文本的相似度分数，元数据可以包含我们想要的上下文的任何其他信息。

构造检索查询

让我们构建检索查询!我们知道相似性搜索查询将返回节点和分数变量，因此我们可以将这些变量传递到检索查询中，以提取这些相似节点的连接数据。我们还必须返回文本、分数和元数据变量。

retrieval_query = """
	WITH node AS doc, score as similarity
	# some more query here
	RETURN <something> as text, similarity as score, 
		{<something>: <something>} AS metadata
"""

好了，这就是我们的骨架。现在我们想要中间的是什么?我们知道我们的数据模型将在相似性搜索中提取CHUNK节点(这些将是上面WITH子句中的节点AS文档值)。文本块不能提供大量上下文，因此我们想要拉入连接到CHUNK节点的Form、Person、Company、Manager和Industry节点。我们还在NEXT关系中包含一系列文本块，因此我们可以将下一个和上一个文本块拉到相似的文本块周围。我们还将提取所有具有相似分数的块，我们希望缩小范围。

retrieval_query = """
    WITH node AS doc, score as similarity
	ORDER BY similarity DESC LIMIT 5
	CALL { WITH doc
		OPTIONAL MATCH (prevDoc:Chunk)-[:NEXT]->(doc)
		OPTIONAL MATCH (doc)-[:NEXT]->(nextDoc:Chunk)
		RETURN prevDoc, doc AS result, nextDoc
	}
	# some more query here
	RETURN coalesce(prevDoc.text,'') + coalesce(document.text,'') + coalesce(nextDoc.text,'') as text,
		similarity as score, 
		{<something>: <something>} AS metadata
"""

现在我们保留5个最相似的块，然后在CALL{}子查询中提取前一个和下一个文本块。我们还更改了RETURN，将前一个、当前和下一个块的文本都连接到文本变量中。coalesce()函数用于处理空值，因此如果没有前一个块或下一个块，它将只返回一个空字符串。

让我们添加更多的上下文来拉入图中的其他相关实体。

retrieval_query = """
    WITH node AS doc, score as similarity
	ORDER BY similarity DESC LIMIT 5
	CALL { WITH doc
		OPTIONAL MATCH (prevDoc:Chunk)-[:NEXT]->(doc)
		OPTIONAL MATCH (doc)-[:NEXT]->(nextDoc:Chunk)
		RETURN prevDoc, doc AS result, nextDoc
    }
    WITH result, prevDoc, nextDoc, similarity
	CALL {
		WITH result
		OPTIONAL MATCH (result)-[:PART_OF]->(:Form)<-[:FILED]-(company:Company), (company)<-[:OWNS_STOCK_IN]-(manager:Manager)
		WITH result, company.name as companyName, apoc.text.join(collect(manager.managerName),';') as managers
		WHERE companyName IS NOT NULL OR managers > ""
		WITH result, companyName, managers
		ORDER BY result.score DESC
		RETURN result as document, result.score as popularity, companyName, managers
    }
	RETURN coalesce(prevDoc.text,'') + coalesce(document.text,'') + coalesce(nextDoc.text,'') as text,
		similarity as score, 
		{documentId: coalesce(document.chunkId,''), company: coalesce(companyName,''), managers: coalesce(managers,''), source: document.source} AS metadata
"""

第二个CALL{}子查询拉入任何相关的Form、Company和Manager节点(如果存在，则为OPTIONAL MATCH)。我们将经理收集到一个列表中，并确保公司名称和经理列表不为空或空。然后我们按分数对结果排序(目前不提供价值，但可以跟踪文档被检索了多少次)。

由于只返回文本、分数和元数据属性，因此我们需要在元数据字典字段中映射这些额外的值(documentId、company和managers)。这意味着要更新最终的RETURN语句以包含这些语句。

总结

本文中，我们了解了RAG是什么，以及在LangChain中检索查询是如何工作的。我们还查看了一些用于Neo4j的Cypher检索查询示例，并构建了我们自己的示例。我们在查询中使用了SEC文件数据集，并了解了如何提取额外的上下文并将其映射到LangChain期望的三个属性。