项目实训博客

以下是对我们项目实训内容的概述，详细工作内容请参考各成员博客：

叶昕：yyyyyyyx_-CSDN博客

郝咏乐：项目实训___undefined__的博客-CSDN博客

王治松：努力学习代码的凇凇-CSDN博客

张豪龙：抹茶糯米白团子-CSDN博客

韦昊君：_Farewell-CSDN博客

一、项目背景:

结直肠癌是常见恶性肿瘤之一，根据国际癌症研究署数据显示，2020年，全球结直肠癌新发病例数为188万，约占恶性肿瘤发病例数的9.7%。而息肉具有增加癌症发病率的风险，超九成的结直肠癌是由结肠息肉演变而来，但在实际应用中，由于息肉较小、较隐蔽，以及内镜设备有限，息肉出检率仅仅只有70%，而有三成的息肉被遗漏。因此我们打算开发一款可以辅助检测肠息肉的软件，旨在提高我们的肠息肉检测率。

并且我们预期利用相应ai模型根据我们检测后的医疗图像自动生成我们的结构化检测报告，这一步可以省去医生繁琐的文书工作，同时可以根据图像所见，自动生成一些诊断意见，因此构建一个能够辅助检测息肉，并根据相应医学图像转换成文本报告的软件是相对具有应用价值的。

二、技术创新：
本项目基于上述的背景，希望能够通过多模态模型，完成一个集成度高的，具备强大的应用价值的软件。软件通过医生提供的肠道探测视频或图像，利用微调过的ai模型进行辅助检测，并检测后的医学图像生成结构化电子病历发送给病人。
因此我们的技术创新点有以下几点：
1. 微调SAM模型：
SAM模型即Segment Anything Model，是计算机视觉领域的一款功能强大的ai模型，SAM模型虽然号称可以分割一切，但是在特定领域的应用精度仍然具备提升空间，我们在开发软件前已经进行过测试，SAM模型在医疗领域的精度需要进一步提升，因此我们的第一个技术创新就是通过投喂数据集，对我们的SAM模型进行微调，提高它在医疗领域方面的精度。
2. 智能交互及肠息肉检测
通过医生提供的肠道检测的图像或视频，我们可以智能交互通过语音或文本进行prompt，提示我们的模型要进行息肉的分割处理，通过我们的软件提高肠息肉的检测率，并使用相关模型及算法，对我们分割后的图像进行关键词提取应用于后面生成我们的结构化检测报告。
3. 结构化检测报告
我们通过我们提取的关键词交给大模型处理，生成相应的结构化检测报告。

三、工作内容:

1.微调SAM大模型SAM大模型即segment anything model，SAM ·模型库 (modelscope.cn)经过测试，SAM在大部分场景下的分割都是十分精准的。

但是在医疗领域的精度是不够准确的，所以我们旨在通过相关数据集，对SAM进行微调来辅助我们进行医疗诊断。

 

 2.根据切割后的图像生成关键词形成结构化诊断报告这个的功能我们还未经过完整的测试，但是我们预期通过分割后的图像，使用模型或者算法，得到我们的关键词，如息肉的数量、尺寸、颜色深浅等，并以此为依据，再次使用如deepseek或chatgpt等大模型通过我们所给关键词生成我们的结果化诊断报告，这极大地减轻了医生的工作量。

3.前后端开发

我们的功能肯定是要承载在一个软件app或者一个网页上，所以我们应该研发出一个网页或者APP来进行我们上述的功能演示，数据展示等等。

四、技术路线：

为了实现上述工作内容，我们需要掌握相关技术来保证工作可以如期进行及顺利完成，接下来我们来分析一下技术路线。

1.模型选取：

在模型选取上，我们拟定通过SAM来进行图像的切割，辅助我们的医疗诊断，SAM号称CV领域的Chatgpt，由此可见SAM的功能之强大；在语音识别上，我们拟定使用Paraformer进行语音识别与转换。在选定好模型后，我们会基于Pytorch等框架对模型进行针对性地参数微调，及数据集训练，最终成为我们最后使用的模型。

2.模型优化：

我们通过模型量化、模型剪枝、模型蒸馏等压缩方法对模型进行优化，做到不影响精度的情况下提高模型的推理速度。

3.软件开发：

我们考虑使用 Web、移动开发等技术实现在网页或 APP 上部署，并搭建清晰易操作的可视化前端界面，方便用户理解及操作。

    针对 Web 端网页，我们使用 B/S 架构，在前端使用 Vue 框架搭建可视化页面，同时使用 Vuetify 组件进行页面美化，使用 SweetAlert2 进行消息框的美化，使用Echarts 进行数据的展示。在后端使用 SpringBoot 框架进行模型的调用及前端的通信，使用 MyBatisPlus 进行数据库的管理，使用 Redis 进行数据的缓存。