零基础构建基于LangChain的聊天机器人(7)

最新推荐文章于 2024-09-04 22:51:06 发布

冻感糕人~

最新推荐文章于 2024-09-04 22:51:06 发布

阅读量946

点赞数 22

文章标签： langchain 机器人人工智能大模型 ai

本文链接：https://blog.csdn.net/python12345_/article/details/139402919

版权

之前的文章：

零基础构建基于LangChain的聊天机器人(1)
零基础构建基于LangChain的聊天机器人(2)
零基础构建基于LangChain的聊天机器人(3)
零基础构建基于LangChain的聊天机器人(4)
零基础构建基于LangChain的聊天机器人(5)
零基础构建基于LangChain的聊天机器人(6)

设计医院系统图数据库

现在有了一个运行中的Neo4j AuraDB实例，接下来确定要存储哪些结点、关系和属性。一种流行的表示方式是使用流程图。基于对医院系统数据的理解，流程图设计如下：

这个图展示了医院系统数据中的所有结点和关系。研究这个流程图的合适方式是从一个患者结点（Patient）开始，通过关系，到下一步 Patient 执行针对某个 Hospital 的 Visit 操作，然后是该医院的医生（Physician）给该病人治疗（TREATES），这次治疗的费用由 Payer 支付。

以下是每个结点中存储的属性：

这些属性中的大部分直接来自步骤 2 中的字段。一个值得注意的区别是，Review 结点有一个嵌入属性，这是 patient_name、physician_name 和 text 属性的向量表示。允许对 Review 结点进行向量搜索，就像对 ChromaDB 所做的那样。

以下是关系属性：

COVERED_BY 是唯一一个有超过一个 id 属性的关系。service_date 是患者出院的日期，billing_amount 是向支付方收取的费用。

现在已经对将要使用的医院系统设计有了概述，接下来将数据移入 Neo4j 。

将数据上传到Neo4j

有了运行中的Neo4j实例，以及对要存储的结点、属性和关系的理解，可以将医院系统数据移入Neo4j。为此，创建一个名为hospital_neo4j_etl的文件夹，其中包含一些空文件。还需要在项目的根目录中创建一个docker-compose.yml文件：

在这里插入图片描述

.env 文件应该有以下环境变量：

OPENAI_API_KEY=<YOUR_OPENAI_API_KEY>

NEO4J_URI=<YOUR_NEO4J_URI>
NEO4J_USERNAME=<YOUR_NEO4J_URI>
NEO4J_PASSWORD=<YOUR_NEO4J_PASSWORD>

HOSPITALS_CSV_PATH=https://raw.githubusercontent.com/hfhoffman1144/langchain_neo4j_rag_app/main/data/hospitals.csv
PAYERS_CSV_PATH=https://raw.githubusercontent.com/hfhoffman1144/langchain_neo4j_rag_app/main/data/payers.csv
PHYSICIANS_CSV_PATH=https://raw.githubusercontent.com/hfhoffman1144/langchain_neo4j_rag_app/main/data/physicians.csv
PATIENTS_CSV_PATH=https://raw.githubusercontent.com/hfhoffman1144/langchain_neo4j_rag_app/main/data/patients.csv
VISITS_CSV_PATH=https://raw.githubusercontent.com/hfhoffman1144/langchain_neo4j_rag_app/main/data/visits.csv
REVIEWS_CSV_PATH=https://raw.githubusercontent.com/hfhoffman1144/langchain_neo4j_rag_app/main/data/reviews.csv

注意，已经将所有的 CSV 文件存储在 GitHub 上的一个公共位置。因为 Neo4j AuraDB 实例在云端运行，它无法访问本地机器上的文件，必须使用 HTTP 或直接将文件上传到实例。对于这个例子，可以使用上面的链接，或者将数据上传到另一个位置。

一旦 .env 文件写好，打开 pyproject.toml，它以 TOML 格式提供配置、元数据和定义的依赖项：

在这里插入图片描述

这个项目是一个基础的提取、转换、加载（ETL）过程，将数据移入Neo4j，所以它的依赖项只有neo4j和retry。ETL的主脚本是 hospital_neo4j_etl/src/hospital_bulk_csv_write.py 。这里无法包含完整的脚本，但后面将对 hospital_neo4j_etl/src/hospital_bulk_csv_write.py 执行的主要步骤有一个感觉。可以从本项目的源码中复制完整的脚本。

首先，导入依赖项，加载环境变量，并配置日志：

在这里插入图片描述

从neo4j导入 GraphDatabase 类以连接到正在运行的实例。注意这里不再使用Python-dotenv来加载环境变量。相反，把环境变量传到运行脚本的Docker容器中。接下来，将定义函数，根据设计将医院数据移入Neo4j：

在这里插入图片描述

首先，定义一个辅助函数 _set_uniqueness_constraints()，它创建并运行查询，强制每个节点具有唯一 ID。在 load_hospital_graph_from_csv() 中，实例化一个驱动程序连接到 Neo4j 实例，并为每个医院系统结点设置唯一性约束。

注意 load_hospital_graph_from_csv() 上附加的 @retry 装饰器。如果load_hospital_graph_from_csv() 因任何原因失败，这个装饰器将重试一百次，每次尝试之间有十秒的延迟。当Neo4j出现间歇性连接问题时，这很有帮助，通常通过重新建立连接来解决。然而，请确保检查脚本日志，看看错误是否多次复发。

接下来，load_hospital_graph_from_csv() 从各自的 csv 文件中加载每个节点和关系的数据，并根据图数据库设计将其写入Neo4j：

在这里插入图片描述

每个结点和关系都从它们各自的 csv 文件中加载，并根据图数据库设计写入Neo4j。脚本的最后，调用 load_hospital_graph_from_csv() ，所有数据应该都会填充到Neo4j实例中。

编写完 hospital_neo4j_etl/src/hospital_bulk_csv_write.py 后，可以定义一个 entrypoint.sh 文件，当Docker容器启动时将运行：

在这里插入图片描述

这个 entrypoint 文件对于这个项目来说技术上并不是必需的，但在构建容器时是一个好习惯，因为它允许在运行主脚本之前执行必要的shell命令。

ETL的最后一个文件是 Dockerfile，它是这样的：

在这里插入图片描述

这个 Dockerfile 说明容器使用 python:3.11-slim 发行版，将 hospital_neo4j_etl/src/ 中的内容复制到容器内的 /app 目录中，从 pyproject.toml 安装依赖项，并运行 entrypoint.sh。

现在可以将这个项目添加到 docker-compose.yml 中：

在这里插入图片描述

ETL将作为名为 hospital_neo4j_etl 的服务运行，它将使用位于 ``./hospital_neo4j_etl中的Dockerfile，并使用 .env中的环境变量。由于只有一个容器，现在还不需要docker-compose。然而，在下一节中，将添加更多的容器与ETL进行编排，所以现在开始使用 docker-compose.yml`是有帮助的。

要运行ETL，请打开一个终端并运行：

$ docker-compose up --build

一旦 ETL 完成运行，返回到 Aura 控制台：

点击“Open”，系统将提示输入Neo4j密码。成功登录实例后，应该看到一个类似的显示：

正如在“数据库信息”下看到的，所有结点、关系和属性都已加载。有 21,187 个结点和 48,259 个关系。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述