创新项目实训（2）—— 项目总体计划

一、项目背景

结直肠癌是常见恶性肿瘤之一，根据国际癌症研究署数据显示，2020年，全球结直肠癌新发病例数为188万，约占恶性肿瘤发病例数的9.7%。而息肉具有增加癌症发病率的风险，超九成的结直肠癌是由结肠息肉演变而来，但在实际应用中，由于息肉较小、较隐蔽，以及内镜设备有限，息肉出检率仅仅只有70%，而有三成的息肉被遗漏。因此我们打算开发一款可以辅助检测肠息肉的软件，旨在提高肠息肉检测率。

除此之外，我们预期利用相应ai模型根据检测后的医疗图像自动生成结构化的检测报告，这一步可以省去医生繁琐的文书工作，同时可以根据图像所见，自动生成一些诊断意见，因此构建一个能够辅助检测息肉，并根据相应医学图像转换成文本报告的软件是相对具有应用价值的。

二、项目功能

本项目基于上述的背景，希望能够通过多模态模型，完成一个集成度高的、具备强大应用价值的软件。软件通过医生提供的肠道探测视频或图像：

• 利用微调过的ai模型进行辅助检测
• 根据检测后的医学图像生成结构化电子病历
• 将电子病历发送给病人

三、模型选取：

在模型选取上，我们拟定通过SAM来进行图像的切割，辅助我们的医疗诊断。

SAM号称CV领域的Chatgpt，由此可见SAM的功能之强大；在语音识别上，我们拟定使用Paraformer进行语音识别与转换。

在选定好模型后，我们会基于Pytorch等框架对模型进行针对性地参数微调，及数据集训练，最终成为我们最后使用的模型。

四、软件开发：

我们考虑使用 Web、移动开发等技术实现在网页或 APP 上部署，并搭建清晰易操作的可视化前端界面，方便用户理解及操作。

针对 Web 端网页，我们使用 B/S 架构，在前端使用 Vue 框架搭建可视化页面，同时使用 Vuetify 组件进行页面美化，使用 SweetAlert2 进行消息框的美化，使用Echarts 进行数据的展示。在后端使用 SpringBoot 框架进行模型的调用及前端的通信，使用 MyBatisPlus 进行数据库的管理，使用 Redis 进行数据的缓存。