使用Huggingface上的开源医疗数据集,借助 RAGFlow 搭建自己的本地医疗问诊助手。
纯本地构建:本地知识库+本地向量化模型+本地大模型
medical_QA+shaw/dmeta-embedding-zh+qwen2:7b
原理:RAGFlow是一个基于对文档深入理解的开源 RAG(检索增强生成)引擎。它的作用是可以让用户创建自有知识库,根据设定的参数对知识库中的文件进行切块处理,用户向大模型提问时,RAGFlow先查找自有知识库中的切块内容,接着把查找到的知识库数据输入到对话大模型中再生成答案输出
ragflow最大特点:不同的解析方法,支持丰富的文件类型,如Word、PPT、excel表格、csv/txt、图片、PDF、结构化数据、网页等
具体可以在本地部署成功后,在解析方法中查看
接下来,开始进入使用阶段,起舞··
一 使用自带的 WSL 安装 Ubuntu-22.04 系统
什么是WSL?WSL(Windows Subsystem for Linux)是微软开发的一项技术,允许用户在Windows系统中直接运行完整的Linux环境,无需虚拟机。通过操作系统级虚拟化,WSL将Linux子系统无缝嵌入Windows,提供原生Linux命令行工具、软件包管理器及应用程序支持。它具有轻量化、文件系统集成、良好的交互性及开发效率提升等优点,消除了Windows与Linux之间的隔阂,尤其适合开发者和需在Windows平台上使用Linux工具的用户。
1 启用window子系统及虚拟化
控制面板->程序和功能->启用或关闭window功能 或者:
win + r 键入 OptionalFeatures,直接打开
提示:winver查看 windows 系统版本:
最后,重启电脑后生效
2 将wsl,升级为wsl2
参考文章:zhuanlan.zhihu.com/p/704855705
说明:win默认系统自带了wsl,直接管理员身份打开cmd执行相关操作
相关命令:
建议:wsl升级并设置默认版本为wsl2
3 启动操作安装的linux
使用 wsl:在 cmd(或powershell)输入 wsl(或者:wsl -d Ubuntu-22.04)
cat /etc/os-release #查看 Linux 的版本
设置时区命令:
操作 Linux 文件:
windows 文件资源管理器-> Linux 的标志,点击 Linux 就可以
二 安装win桌面版docker
win桌面版 地址:
www.docker.com/products/docker-desktop/
下载完之后,按照提示,一直点就行了哈
提示:因为安装完成后镜像很大(44G左右),默认会安装在C盘,建议更改到其他空闲盘
更改方法:设置–>Resourses
以下本项目用不到,可以忽略,因为docker用的是win桌面版docker
linux (学习在ubuntu上安装docker和docker compose)
安装docker :
https://zhuanlan.zhihu.com/p/651148141
安装 docker compose:
curl -SL https://github.com/docker/compose/releases/download/v2.29.6/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose #下载 docker-compose程序包
sudo chmod +x /usr/local/bin/docker-compose #添加可执行权限
docker-compose -v #查看版本
三 部署启动ragflow
以下命令在git bash 中执行
ragflow仓库:
github.com/infiniflow/ragflow/blob/main/README_zh.md
软硬件要求:硬件:CPU ≥ 4 核 ; 内存≥ 16 GB; 磁盘空间 ≥ 50 GB; 软件:Docker版本 ≥ 24.0.0 ;Docker Compose 版本 ≥ v2.26.1
#查看版本
docker -v
docker compose version
启动部署服务器:
5 在浏览器中输入服务器对应的IP地址并登录RAGFlow (可在终端中用 ipconfig 查看ip)
点击signup注册,填入电邮地址和密码后,返回登录页,用刚刚注册的电邮地址和密码登录。
docker相关命令
相关bug:
bug1:无法正常下载(If inside mainland China)
解决1:修改./docker/.env的45行,把HF_ENDPOINT 设成相应的镜像站点
bug2: dependency failed to start: container ragflow-mysql is unhealthy
解决2:docker compose down -v #移除所有本地数据
docker compose up -d
四 安装本地大模型LLM
安装ollama(一步步点就行)
地址:https://www.ollama.com/
下载qwen2:7b模型(4.4GB)阿里的千问大模型对中文很友好,所以选择它
说明,ollama中有许多开源模型,都可自行本地下载
下载Embedding模型
说明:一个免费的中文的向量化模型
ollama pull shaw/dmeta-embedding-zh
ollama list
最后用浏览器打开 http://localhost:11434
可以看到页面中显示:Ollama is running
五 下载医疗数据集
地址:
huggingface.co/datasets/InfiniFlow/medical_QA
medical_QA(医疗问诊助手数据集),它基于 PubMed 的数百万英文医疗论文,以及一些其他数据集,涵盖多个不同领域具有代表性的专业医疗数据,借助于 Agent 机制,提供中文问诊对话服务
ChatMed_Consult-v0.3.CSV 医疗咨询
Internal medicine_QA_all.csv 内科_QA_all.CSV
Medical Oncology_QA_all.csv 医学肿瘤学_QA_all.CSV
OB GYN_QA_all.csv 妇产科_QA_all.CSV
Pediatrics_QA_all.csv 儿科_QA_all.CSV
Andrology QA.CSV 男科QA.CSV S
urgical_QA_all.csv 外科_QA_all.CSV
六 RAGFlow 的使用
首先登录ragflow,进入后点击右上角图标
1 添加下载的本地千问模型和向量化模型
模型均在“第四步”做了安装
qwen2:7b:做问答chat的大模型
shaw/dmeta-embedding-zh:做embedding的,本地知识做向量化索引的
点击添加模型->按照如下添加向量化模型
因为ragflow使用的是docker,而ollama是在本地运行的,所以基础url为
base URL:http://host.docker.internal:11434
添加成功发后结果如下
2 创建知识库
2.1点击上方知识库–>创建知识库
2.2添加配置文件 语言选择中文,嵌入模型选择自己下载的,解析方法选择Q&A
2.3新增文件->上传第五步下载的医疗数据集QA
在这里插入图片描述
说明:如果不能一起上传,就单个上传
3 开始解析,等待成功 上传后点击右边放启动按钮,开始解析,等待解析成功,我这里文件80M左右,大约90分钟
原理:将每个QA对做成向量,用于提问后的匹配检索
4 检索测试 简单测试下知识库的相关搜索性
七 功能测试与使用
1 聊天(添加助理)
聊天–>添加助理–>配置相关参数(模型选择qwen2:7b) -->确定
模型选择qwen2:7b
测试聊天效果
2后端api服务
说明:通过部署的本地知识库大模型,不仅可以自己使用,还可以通过api给其他应用使用
右键打开聊天api
创建密钥
3 使用python程序调用
文档地址:https://ragflow.io/docs/dev/api
代码效果测试:
说明:测试代码太多了,就不贴了
最后
希望对大家有用,
收集自己的行业数据集,快速在本地部署属于自己的专有大模型
如何学习大模型
现在社会上大模型越来越普及了,已经有很多人都想往这里面扎,但是却找不到适合的方法去学习。
作为一名资深码农,初入大模型时也吃了很多亏,踩了无数坑。现在我想把我的经验和知识分享给你们,帮助你们学习AI大模型,能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习,等录播视频免费分享出来,需要的小伙伴可以扫取。
一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向,东学一点西学一点,像只无头苍蝇乱撞,我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。
二、AI大模型视频教程
三、AI大模型各大学习书籍
四、AI大模型各大场景实战案例
五、结束语
学习AI大模型是当前科技发展的趋势,它不仅能够为我们提供更多的机会和挑战,还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型,我们可以深入了解深度学习、神经网络等核心概念,并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时,掌握AI大模型还能够为我们的职业发展增添竞争力,成为未来技术领域的领导者。
再者,学习AI大模型也能为我们自己创造更多的价值,提供更多的岗位以及副业创收,让自己的生活更上一层楼。
因此,学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。