RAG Flow搭建AI医疗助手入门基础教程(非常详细),搭建AI医疗助手入门到精通,收藏这一篇就够了!

搭建AI医疗助手时,RAGFlow平台提供了一个便捷高效的方法。通过RAGFlow,你可以快速创建一个医疗问诊助手。该平台提供了智能问答系统,能提供基于证据的准确回答,非常适合构建医疗客服系统。此外,RAGFlow允许用户通过自定义模型和工作流来创建符合特定需求的AI助手。

开源的RAG引擎:RAGflow

在当今科技飞速发展的时代,人工智能(AI)已经成为各行各业不可或缺的一部分。特别是在文档处理和数据分析领域,AI的应用更是无处不在。今天,我要向大家介绍一个开源的AI框架引擎——RAGflow。它能够在深度文档理解方面执行检索增强生成(Retrieval-Augmented Generation,简称RAG),并且被认为是目前最优秀的RAG框架之一。本文将详细探讨RAGflow的创新功能、技术特点以及如何在实际应用中发挥其最大潜力。

原理:

RAGFlow是一个基于对文档深入理解的开源 RAG(检索增强生成)引擎。它的作用是可以让用户创建自有知识库,根据设定的参数对知识库中的文件进行切块处理,用户向大模型提问时,RAGFlow先查找自有知识库中的切块内容,接着把查找到的知识库数据输入到对话大模型中再生成答案输出

二、介绍RAGFlow AI医疗助手实现逻辑

对于医疗问答AI回答胡说八道,RAGFlow是一个效果非常好的医疗问答AI助手方案,体验完胜于目前市面上其他医疗问答AI和前沿的医疗领域大模型。

二、什么是RAGFlow

1、AGFlow是什么呢?

RAGFlow 是一款基于深度文档理解构建的开源RAG (Retrieval-Augmented Generation)弓擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程,结合大语言模型(LLM)针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用,同时包含了Agent,Graph RAG等其他全面的功能

2、RAGflow的最新更新

RAGflow作为一个开源的RAG引擎,最近进行了多项重大更新,提升了其功能和性能。以下是一些主要的更新内容:

3、音频文件解析支持:现在可以解析音频文件,扩展了输入数据的类型。

4、新大型语言模型的集成:新增了多个大型语言模型,提升了生成文本的多样性和准确性。

5、支持基于图的工作流:这是一个非常重要的更新,它允许创建更复杂的工作流或代理,比传统的DAG(有向无环图)概念更进一步。

6、Markdown和Docx格式的Q&A解析支持:增强了对不同文档格式的解析能力。

7、从文档中提取图像和表格:支持从Markdown文件中提取表格,以及从Docx文件中提取图像。

8、自我RAG(Self-RAG)支持:提升了自我纠错和优化的能力。

9、BCE和BGE的集成:增强了框架的扩展性和兼容性。

三、基于图的工作流

值得一提的是,基于图的工作流是RAGflow的一个亮点。这种工作流允许创建超越DAG的复杂流程,能够更好地进行数据分类、访问控制、活动监控以及数据丢失防护。它可以帮助企业和个人用户构建更强大的生成式AI系统,使得各种类型的文件(如文档、文本、图像、扫描副本等)都能得到智能且可解释的处理。

1、RAGflow的安装与配置

RAGflow是完全开源的,这意味着你可以自由扩展和定制这个框架。要开始使用RAGflow,你需要满足以下硬件和软件要求:

CPU:至少四核

内存:大于16GB

磁盘存储:大于50GB

Docker:确保已安装

2、配置步骤

启动服务器:首先启动服务器。

克隆仓库:使用Git克隆RAGflow的仓库到你的命令行环境中。

进入RAGflow文件夹:在命令行中进入RAGflow文件夹。

使用Docker启动:使用Docker命令启动服务器。

配置完成后,你将能够访问RAGflow的管理面板,在这里可以管理知识库、与知识库进行对话、创建图形工作流等。实际应用中的RAGflow,RAGflow的应用范围非常广泛,包括但不限于以下几个方面:

3、企业级文档处理:

通过RAGflow,企业可以更高效地处理大量文档,提高工作效率。

4、复杂数据解析:

支持多种文件类型和数据格式的解析,使得数据处理更加灵活。

5、智能问答系统:

RAGflow能够提供准确且有依据的回答,非常适合构建智能客服系统。

6、个性化AI助手:

通过自定义模型和工作流,可以创建符合特定需求的AI助手。

7、RAGFlow医疗问诊助手优势

医疗领域问答最重要的问题是准确,相比于根据不同医疗细分领域的私有数据微调的医疗垂直领域大模型,RAGFlow医疗问诊助手对于回答幻觉控制的非常好,所采用的医疗数据来自多个不同领域具有代表性的专业医疗数据集。在使用成本上,通过RAGFlow搭建的医疗问诊助手更加快捷方便,只需要点击新建agent就可以立即开始体验,同时回答质量以及稳定性要远远高于微调的医疗大模型

其次相比于常规的RAG应用,RAGFlow对于所采用的医疗数据召回效果更好,同时可以从最专业的医学数据库之-PubMed进行搜索相关内容,最后生成的回答同时结合专业医疗数据和专业的医学数据库两者,基于此,针对最前沿的医学研究相关问题,RAGFlow同样可以生成高质量可靠的回答,这在市面上其他常规RAG应用是做不到的。

四、RAGFlow医疗问诊助手内部实现结构如下及最后调试界面:

1、 启用window子系统及虚拟化

控制面板->程序和功能->启用或关闭window功能 或者:

win + r 键入 OptionalFeatures,直接打开

提示:winver查看 windows 系统版本:

最后,重启电脑后生效

2、 将wsl,升级为wsl2

什么是WSL?WSL(Windows Subsystem for Linux)是微软开发的一项技术,允许用户在Windows系统中直接运行完整的Linux环境,无需虚拟机。通过操作系统级虚拟化,WSL将Linux子系统无缝嵌入Windows,提供原生Linux命令行工具、软件包管理器及应用程序支持。它具有轻量化、文件系统集成、良好的交互性及开发效率提升等优点,消除了Windows与Linux之间的隔阂,尤其适合开发者和需在Windows平台上使用Linux工具的用户。

说明:win默认系统自带了wsl,直接管理员身份打开cmd执行相关操作

相关命令:

wsl --update #升级到最新版本(wsl2)``wsl --list --online # 查看所有可用的发行版``wsl --install -d Ubuntu-22.04 # 安装 Ubuntu-22.04 系统``wsl -l -v # 显示当前安装了哪些系统``wsl --set-default-version 2 #设置wsl默认版本为wsl2``wsl.exe --set-version Ubuntu-22.04 2 #设置Ubuntu-22.04为 wsl2``wsl.exe --set-version Ubuntu-22.04 1 #设置为wsl1``wsl -d Ubuntu-22.04 #登录到Ubuntu环境``   

建议:wsl升级并设置默认版本为wsl2

3 、启动操作安装的linux

使用 wsl:在 cmd(或powershell)输入 wsl(或者:wsl -d Ubuntu-22.04)

cat /etc/os-release #查看 Linux 的版本

设置时区命令:

timedatectl # 检查当前设置的时区`  `sudo timedatectl set-timezone Asia/Shanghai # 将时区设置为中国标准时间`  `timedatectl # 确保时区已经正确设置

操作 Linux 文件:

windows 文件资源管理器-> Linux 的标志,点击 Linux 就可以

4、安装win桌面版docker

win桌面版 地址:

www.docker.com/products/docker-desktop/

下载完之后,按照提示,一直点就行了哈

提示:因为安装完成后镜像很大(44G左右),默认会安装在C盘,建议更改到其他空闲盘

更改方法:设置–>Resourses

以下本项目用不到,可以忽略,因为docker用的是win桌面版docker

linux (学习在ubuntu上安装docker和docker compose)

安装 docker compose:

curl -SL https://github.com/docker/compose/releases/download/v2.29.6/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose #下载 docker-compose程序包``sudo chmod +x /usr/local/bin/docker-compose #添加可执行权限``docker-compose -v #查看版本``   

5、部署启动ragflow:以下命令在git bash 中执行

6、ragflow仓库:

github.com/infiniflow/ragflow/blob/main/README_zh.md

软硬件要求:硬件:CPU ≥ 4 核 ; 内存≥ 16 GB; 磁盘空间 ≥ 50 GB; 软件:Docker版本 ≥ 24.0.0 ;Docker Compose 版本 ≥ v2.26.1

#查看版本``docker -v``docker compose version``   

7、启动部署服务器:

#1 克隆仓库``git clone https://github.com/infiniflow/ragflow.git``   ``#2 使用Docker镜像启动服务器(45 GB左右,约2小时左右)``修改./docker/.env的45行,把HF_ENDPOINT 设成相应的镜像站点``HF_ENDPOINT=https://hf-mirror.com``$ cd ragflow/docker``$ chmod +x ./entrypoint.sh``$ docker compose -f docker-compose.yml up -d``   ``# 3 确认服务器状态``docker logs -f ragflow-server

在浏览器中输入服务器对应的IP地址并登录RAGFlow (可在终端中用 ipconfig 查看ip)

点击signup注册,填入电邮地址和密码后,返回登录页,用刚刚注册的电邮地址和密码登录。

docker相关命令

sudo docker images # 查看镜像``docker ps # 列出正在运行的容器``# 进入名为 ragflow-server 的容器``docker exec -it ragflow-server /bin/bash``cd /ragflow``ls``# 退出容器``exit

8、相关bug:

bug1:无法正常下载(如果在中国境内)

解决1:修改./docker/.env的45行,把HF_ENDPOINT 设成相应的镜像站点

bug2: dependency failed to start: container ragflow-mysql is unhealthy

解决2:docker compose down -v #移除所有本地数据

docker compose up -d

9、安装本地大模型LLM

安装ollama(一步步点就行)

地址:https://www.ollama.com/

下载qwen2:7b模型(4.4GB)阿里的千问大模型对中文很友好,所以选择它
说明,ollama中有许多开源模型,都可自行本地下载

ollama list #列出模型``ollama run qwen2:7b #下载运行模型``ollama rm          #删除模型``ollama show  #显示模型信息

下载Embedding模型
说明:一个免费的中文的向量化模型

ollama pull shaw/dmeta-embedding-zh``ollama list

在这里插入图片描述

五 下载医疗数据集

地址:huggingface.co/datasets/InfiniFlow/medical_QA

medical_QA(医疗问诊助手数据集),它基于 PubMed 的数百万英文医疗论文,以及一些其他数据集,涵盖多个不同领域具有代表性的专业医疗数据,借助于 Agent 机制,提供中文问诊对话服务``ChatMed_Consult-v0.3.CSV 医疗咨询``Internal medicine_QA_all.csv 内科_QA_all.CSV``Medical Oncology_QA_all.csv 医学肿瘤学_QA_all.CSV``OB GYN_QA_all.csv 妇产科_QA_all.CSV``Pediatrics_QA_all.csv 儿科_QA_all.CSV``Andrology QA.CSV 男科QA.CSV S``urgical_QA_all.csv 外科_QA_all.CSV

六 RAGFlow 的使用

首先登录ragflow,进入后点击右上角图标

1 添加下载的本地千问模型和向量化模型

模型均在“第四步”做了安装

qwen2:7b:做问答chat的大模型

shaw/dmeta-embedding-zh:做embedding的,本地知识做向量化索引的

点击添加模型->按照如下添加向量化模型

因为ragflow使用的是docker,而ollama是在本地运行的,所以基础url为

base URL:http://host.docker.internal:11434

添加成功发后结果如下

2 创建知识库
2.1点击上方知识库–>创建知识库

2.2添加配置文件 语言选择中文,嵌入模型选择自己下载的,解析方法选择Q&A

2.3新增文件->上传第五步下载的医疗数据集QA

说明:如果不能一起上传,就单个上传

3 开始解析,等待成功 上传后点击右边放启动按钮,开始解析,等待解析成功,我这里文件80M左右,大约90分钟
原理:将每个QA对做成向量,用于提问后的匹配检索

4 检索测试 简单测试下知识库的相关搜索性

六、 功能测试与使用

1 聊天(添加助理)

聊天–>添加助理–>配置相关参数(模型选择qwen2:7b) -->确定

模型选择qwen2:7b

测试聊天效果

在这里插入图片描述

2后端api服务
说明:通过部署的本地知识库大模型,不仅可以自己使用,还可以通过api给其他应用使用
右键打开聊天api

创建密钥

使用python程序调用

文档地址:https://ragflow.io/docs/dev/api

代码效果测试:

如何学习AI大模型 ?

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。

对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程文末领取哈)
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。

在这里插入图片描述
在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程文末领取哈)

在这里插入图片描述

👉4.大模型落地应用案例PPT👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(全套教程文末领取哈)

在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程文末领取哈)
img

在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程文末领取哈)

在这里插入图片描述
👉学会后的收获:👈
基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN,朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利: 👉👉CSDN大礼包:《最新AI大模型学习资源包》免费分享 👈👈

(👆👆👆安全链接,放心点击)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值