基于neo4j知识图谱+flask的大数据医疗领域知识问答系统（完整源码+源码解析+开发文档+视频讲解等资料(1)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

基于neo4j知识图谱+flask的大数据医疗领域知识问答系统（完整源码+源码解析+开发文档+视频讲解等资料）

一、项目概述

基于知识图谱+flask的KBQA医疗问答系统基于医疗方面知识的问答，通过搭建一个医疗领域知识图谱，并以该知识图谱完成自动问答与分析服务。 基于知识图谱+flask的KBQA医疗问答系统以neo4j作为存储，本系统知识图谱建模使用的最大向前匹配是一种贪心算法，从句首开始匹配，每次选择最长的词语。由于只需一次遍历，因此在速度上相对较快。 算法相对简单，容易实现和理解，不需要复杂的数据结构。 对于中文文本中大部分是左向的情况，最大向前匹配通常能够较好地切分。与最大向前匹配相反，最大向后匹配从句尾开始匹配，每次选择最长的词语。适用于大部分右向的中文文本。双向最大匹配结合了最大向前匹配和最大向后匹配的优势，从两个方向分别匹配，然后选择分词数量较少的一种结果。这种方法综合考虑了左向和右向的特点，提高了切分的准确性，以关键词执行cypher查询，并返回相应结果查询语句作为问答。后面我又设计了一个简单的基于 Flask 的聊天机器人应用，利用nlp自然语言处理，通过医疗AI助手根据用户的问题返回结果，用户输入和系统返回的输出结果都会一起自动存储到sql数据库。

在多模式匹配方面， Aho-Corasick算法专门用于在一个文本中同时搜索多个模式（关键词）。相比于暴力搜索算法，Aho-Corasick算法的时间复杂度较低，在本知识图谱建模问答系统中，性能更为显著。在线性时间复杂度方面，进行预处理的阶段，Aho-Corasick算法构建了一个确定性有限自动机（DFA），使得在搜索阶段的时间复杂度为O(n)，其中n是待搜索文本的长度。这种线性时间复杂度使得算法在本应用中非常高效。在灵活性方面， Aho-Corasick算法在构建有限自动机的过程中，可以方便地添加、删除模式串，而不需要重新构建整个数据结构，提高了算法的灵活性和可维护性。
原文链接：大数据知识图谱——基于知识图谱+深度学习的大数据(KBQA)NLP医疗知识问答可视化系统（全网最详细讲解及源码/建议收藏）

二、实现知识图谱的医疗知识问答系统基本流程

1. 配置好所需要的环境（jdk,neo4j,pycharm,python等）
2. 爬取所需要的医学数据，获取所需基本的医疗数据。
3. 对医疗数据进行数据清洗处理。
4. 基于贪心算法进行分词策略。
5. 关系抽取定义与实体识别。
6. 知识图谱建模。
7. 基于 Aho-Corasick算法进行多模式匹配。
8. 设计一个基于 Flask 的聊天机器人AI助手。
9. 设计用户输入和系统输出记录数据自动存储到sql数据库。

系统部分内容展示及解析（完整资料获取看文末）：

具体的疾病详情页面如下：
首先对网址上的疾病链接进行分析，以感冒为例：
感冒的链接：http://jib.xywy.com/il_sii_38.htm

可以看到，上面包含了疾病的简介、病因、预防、症状、检查、治疗、并发症、饮食保健等详情页的内容。下面我们要使用爬虫把信息收集起来。
通过观察可以看出，链接部分 http://jib.xywy.com/il_sii_ 都是相同的，是通过数字的叠加来组成不同的病例。通过string类型的拼接进行循环后可以得到我们需要的内容。
数据收集模块放在/prepare_data文件夹下面。
要收集 url 下面对应的数据，具体爬虫代码如下：

爬取医学数据并将其存储到 MongoDB 数据库中。
之前老版本的insert方法被弃用，再用会出现警告。insert 替换为了 insert_one，这样就不会再收到关于 insert 方法被弃用的警告了。如果你需要一次性插入多个文档，可以使用 insert_many 方法。

# 使用 insert\_one 或 insert\_many 方法。提供了更多的灵活性，并且支持更多的功能，比如插入后返回的文档的 \_id 值。
class MedicalSpider:
    def __init__(self):
        # 在类初始化时，建立与 MongoDB 数据库的连接
        self.conn = pymongo.MongoClient()

        # 选择名为 'medical2' 的数据库
        self.db = self.conn['medical']

        # 在数据库中选择名为 'data' 的集合（类似于关系数据库中的表）
        self.col = self.db['data']

    def insert_data(self, data):
        # 使用 insert\_one 方法插入单个文档
        self.col.insert_one(data)

1. class MedicalSpider:: 定义了一个名为 MedicalSpider 的类。
2. def init(self):: 这是类的构造函数，用于在创建类的实例时进行初始化。在初始化过程中，建立了与 MongoDB 数据库的连接，并选择了名为 ‘medical’ 的数据库和名为 ‘data’ 的集合。
3. def insert_data(self, data):: 这是一个方法，用于插入数据到 MongoDB 中。它使用了 insert_one 方法，该方法用于插入单个文档（记录）到 MongoDB 集合中。data 参数是要插入的文档数据。
   

需要爬取的信息包括疾病名、所属目录、症状、治疗方案等等，都可以从页面上获取。

MongoDB里面的数据也是刷新显示最新数据记录
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/ef684bdce53645b88055248552f9c444.png

我们随便点一个我们爬取的网页链接，点击查看网页详情：

这里代码爬虫的主要功能是爬取疾病相关的信息，并将数据存储到MongoDB数据库中。代码的主要结构是一个名为MedicalSpider的类，它包含了各种方法来处理不同类型的数据采集任务。在代码的开头，导入了一些必要的库，如requests、urllib、lxml和pymongo。然后定义了一个MedicalSpider类，该类的构造函数初始化了MongoDB的连接，并指定了要使用的数据库和集合。

接下来是一系列方法，用于实现不同类型的数据采集。其中，get_html方法用于发送HTTP请求并获取网页的HTML内容。url_parser方法用于解析HTML内容，提取出需要的URL。basicinfo_spider方法用于解析疾病的基本信息，如名称、描述和所属目录。treat_spider、drug_spider和food_spider方法分别用于解析治疗信息、药物信息和食物信息。symptom_spider方法用于解析疾病的症状信息。inspect_spider方法用于解析疾病的检查信息。common_spider方法用于解析通用模块下的内容，如疾病预防和疾病起因。

在spider_main方法中，通过循环遍历页面，构造不同类型的URL，并调用相应的方法进行数据采集。采集到的数据以字典的形式存储，并插入到MongoDB数据库中。
最后，代码调用了MedicalSpider类的实例，并依次调用了inspect_crawl和spider_main方法，完成了数据的采集和存储。

总的来说，通过爬取寻医问药网站的相关页面，获取疾病的基本信息、治疗信息、药物信息、食物信息、症状信息和检查信息，并将数据存储到MongoDB数据库中。

结束之后我们可以在MongoDB数据库中查看我们爬取到的疾病链接和解析出的网页内容：91496d548148a6a102d46a94d8c.png)
贪心算法策略+Aho-Corasick算法

本次知识图谱建模使用的最大向前匹配是一种贪心算法，从句首开始匹配，每次选择最长的词语。由于只需一次遍历，因此在速度上相对较快。 算法相对简单，容易实现和理解，不需要复杂的数据结构。 对于中文文本中大部分是左向的情况，最大向前匹配通常能够较好地切分。与最大向前匹配相反，最大向后匹配从句尾开始匹配，每次选择最长的词语。适用于大部分右向的中文文本。双向最大匹配结合了最大向前匹配和最大向后匹配的优势，从两个方向分别匹配，然后选择分词数量较少的一种结果。这种方法综合考虑了左向和右向的特点，提高了切分的准确性。
在多模式匹配方面， Aho-Corasick算法专门用于在一个文本中同时搜索多个模式（关键词）。相比于暴力搜索算法，Aho-Corasick算法的时间复杂度较低，在本知识图谱建模问答中，性能更为显著。
在线性时间复杂度方面，进行预处理的阶段，Aho-Corasick算法构建了一个确定性有限自动机（DFA），使得在搜索阶段的时间复杂度为O(n)，其中n是待搜索文本的长度。这种线性时间复杂度使得算法在本应用中非常高效。
在灵活性方面， Aho-Corasick算法在构建有限自动机的过程中，可以方便地添加、删除模式串，而不需要重新构建整个数据结构，提高了算法的灵活性和可维护性。
在Cypher查询的效率方面，基于Cypher查询的数据库检索机制在系统中表现出良好的效率。这证明了Cypher查询语言的优越性，以及它在处理医疗知识图谱时的高效性，确保了用户能够快速获取所需的医学信息。
在问答模型用户界面计方面，基于文本的命令行问答设计的成功实现极大地提高了系统的可用性和用户体验。用户可以通过直观且易于导航的界面与系统进行交互，从而更轻松地获取所需的医疗信息。


处理数据后对应的图谱系统数据关键词：

3）所搭建的系统框架，包括知识图谱实体类型，实体关系类型，知识图谱属性类型等。
知识图谱实体类型:

一般来说，一个医疗知识图谱问答系统Schema包括以下几个部分：
实体：指代医疗领域中的具体概念或对象，如药品、疾病、症状等。
属性：指代实体的特征或描述，如药品的成分、剂型、适应症等。
关系：指代实体之间的联系或影响，如疾病与药物的治疗关系、食物的忌吃关系等。
问题：指代用户对医疗领域的信息需求，如“高血压应该吃什么药？”、“感冒有哪些常见的症状？”等。
答案：指代针对问题的回复或解释，如“高血压可以服用降压药物，如氨氯地平片、硝苯地平片等。”、“感冒常见的症状有发热、咳嗽、流鼻涕等。”等。

departments = [] #科室
        diseases = []  # 疾病
        drugs = []  # 药品
        foods = []  # 食物
        producers = [] #药品大类
        symptoms = []#症状

实体关系类型:

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！