大模型LLM | 本地知识库+本地大模型，借助RAGFlow搭建医院医疗问诊助手，纯本地，超实用！

AI女王

于 2024-10-09 19:53:23 发布

阅读量763

点赞数 10

文章标签：人工智能 AI大模型大模型 LLM ai RAG 大模型部署

本文链接：https://blog.csdn.net/m0_56255097/article/details/142794895

版权

使用Huggingface上的开源医疗数据集，借助 RAGFlow 搭建自己的本地医疗问诊助手。

纯本地构建：本地知识库+本地向量化模型+本地大模型
medical_QA+shaw/dmeta-embedding-zh+qwen2:7b

原理：RAGFlow是一个基于对文档深入理解的开源 RAG（检索增强生成）引擎。它的作用是可以让用户创建自有知识库，根据设定的参数对知识库中的文件进行切块处理，用户向大模型提问时，RAGFlow先查找自有知识库中的切块内容，接着把查找到的知识库数据输入到对话大模型中再生成答案输出

ragflow最大特点：不同的解析方法，支持丰富的文件类型，如Word、PPT、excel表格、csv/txt、图片、PDF、结构化数据、网页等
具体可以在本地部署成功后，在解析方法中查看

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】

一、使用自带的 WSL 安装 Ubuntu-22.04 系统

什么是WSL？WSL（Windows Subsystem for Linux）是微软开发的一项技术，允许用户在Windows系统中直接运行完整的Linux环境，无需虚拟机。通过操作系统级虚拟化，WSL将Linux子系统无缝嵌入Windows，提供原生Linux命令行工具、软件包管理器及应用程序支持。它具有轻量化、文件系统集成、良好的交互性及开发效率提升等优点，消除了Windows与Linux之间的隔阂，尤其适合开发者和需在Windows平台上使用Linux工具的用户。

1 启用window子系统及虚拟化

控制面板->程序和功能->启用或关闭window功能或者：
win + r 键入 OptionalFeatures，直接打开
提示：winver查看 windows 系统版本：

最后，重启电脑后生效

2 将wsl，升级为wsl2

参考文章：zhuanlan.zhihu.com/p/704855705
说明：win默认系统自带了wsl，直接管理员身份打开cmd执行相关操作

相关命令：

wsl --update #升级到最新版本（wsl2）
wsl --list --online # 查看所有可用的发行版
wsl --install -d Ubuntu-22.04 # 安装 Ubuntu-22.04 系统
wsl -l -v # 显示当前安装了哪些系统
wsl --set-default-version 2 #设置wsl默认版本为wsl2
wsl.exe --set-version Ubuntu-22.04 2 #设置Ubuntu-22.04为 wsl2
wsl.exe --set-version Ubuntu-22.04 1 #设置为wsl1
wsl -d Ubuntu-22.04 #登录到Ubuntu环境

建议：wsl升级并设置默认版本为wsl2

3 启动操作安装的linux

使用 wsl：在 cmd（或powershell）输入 wsl（或者：wsl -d Ubuntu-22.04）
cat /etc/os-release #查看 Linux 的版本

设置时区命令：

timedatectl # 检查当前设置的时区  
sudo timedatectl set-timezone Asia/Shanghai # 将时区设置为中国标准时间  
timedatectl # 确保时区已经正确设置

操作 Linux 文件:
windows 文件资源管理器-> Linux 的标志，点击 Linux 就可以

二、安装win桌面版docker

win桌面版地址:
www.docker.com/products/docker-desktop/
下载完之后，按照提示，一直点就行了哈

提示：因为安装完成后镜像很大（44G左右），默认会安装在C盘，建议更改到其他空闲盘

更改方法：设置–>Resourses

以下本项目用不到，可以忽略，因为docker用的是win桌面版docker

linux (学习在ubuntu上安装docker和docker compose)

安装docker ：
https://zhuanlan.zhihu.com/p/651148141

安装 docker compose：

curl -SL https://github.com/docker/compose/releases/download/v2.29.6/docker-compose-linux-x86_64 -o /usr/local/bin/docker-compose #下载 docker-compose程序包
sudo chmod +x /usr/local/bin/docker-compose #添加可执行权限
docker-compose -v #查看版本

三、部署启动ragflow

以下命令在git bash 中执行

ragflow仓库：
github.com/infiniflow/ragflow/blob/main/README_zh.md

软硬件要求：硬件：CPU ≥ 4 核 ; 内存≥ 16 GB; 磁盘空间 ≥ 50 GB; 软件：Docker版本 ≥ 24.0.0 ；Docker Compose 版本 ≥ v2.26.1

#查看版本
docker -v
docker compose version

在这里插入图片描述

启动部署服务器:

#1 克隆仓库
git clone https://github.com/infiniflow/ragflow.git

#2 使用Docker镜像启动服务器（45 GB左右，约2小时左右）
修改./docker/.env的45行，把HF_ENDPOINT 设成相应的镜像站点
HF_ENDPOINT=https://hf-mirror.com
$ cd ragflow/docker
$ chmod +x ./entrypoint.sh
$ docker compose -f docker-compose.yml up -d

# 3 确认服务器状态
docker logs -f ragflow-server

5 在浏览器中输入服务器对应的IP地址并登录RAGFlow (可在终端中用 ipconfig 查看ip)

点击signup注册，填入电邮地址和密码后，返回登录页，用刚刚注册的电邮地址和密码登录。

docker相关命令

sudo docker images # 查看镜像
docker ps # 列出正在运行的容器
# 进入名为 ragflow-server 的容器
docker exec -it ragflow-server /bin/bash
cd /ragflow
ls
# 退出容器
exit

相关bug:
bug1:无法正常下载（If inside mainland China）
解决1：修改./docker/.env的45行，把HF_ENDPOINT 设成相应的镜像站点

bug2: dependency failed to start: container ragflow-mysql is unhealthy
解决2：docker compose down -v #移除所有本地数据
docker compose up -d

四、安装本地大模型LLM

安装ollama(一步步点就行)
地址：https://www.ollama.com/

下载qwen2:7b模型(4.4GB)阿里的千问大模型对中文很友好，所以选择它
说明，ollama中有许多开源模型，都可自行本地下载

ollama list #列出模型``ollama run qwen2:7b #下载运行模型``ollama rm          #删除模型``ollama show  #显示模型信息

下载Embedding模型
说明：一个免费的中文的向量化模型

ollama pull shaw/dmeta-embedding-zh``ollama list

最后用浏览器打开 http://localhost:11434
可以看到页面中显示：Ollama is running

五、下载医疗数据集

地址：
huggingface.co/datasets/InfiniFlow/medical_QA

medical_QA(医疗问诊助手数据集)，它基于 PubMed 的数百万英文医疗论文，以及一些其他数据集，涵盖多个不同领域具有代表性的专业医疗数据，借助于 Agent 机制，提供中文问诊对话服务
ChatMed_Consult-v0.3.CSV 医疗咨询
Internal medicine_QA_all.csv 内科_QA_all.CSV
Medical Oncology_QA_all.csv 医学肿瘤学_QA_all.CSV
OB GYN_QA_all.csv 妇产科_QA_all.CSV
Pediatrics_QA_all.csv 儿科_QA_all.CSV
Andrology QA.CSV 男科QA.CSV S
urgical_QA_all.csv 外科_QA_all.CSV