医学领域图像相关自述

一.研究方向、规划：医学图像算法

医学图像主要分为以下几类：

1. X射线成像（用X射线穿透密度、厚度不同的人体组织形成黑白影像）
2. X射线断层扫描CT（X射线旋转扫描人体，再用电脑的三维重建技术构造断层影像，同样基于人体组织）
3. 核磁共振成像MRI（用核磁共振原理，依据释放的能量在人体不同组织结构中不同衰减，外加梯度磁场发射的电磁波，绘制物体内部结构影像）
4. 显微镜下的图像

二. 医学图像读取方法

最常见的医学图像有CT和MRI，这都是三维数据，相比于二维数据要难一些。而且保存下来的数据也有很多格式，常见的有.dicom .nii(.gz) 。这些数据都可以用Python的SimpleITK来处理，pydicom可以对.dcm文件进行读取和修改。
读取操作的目的是从每一个病人数据中抽取tensor数据

三.医学领域常见指标

1. 交并比：预测框的面积与真实框面积的交集与并集的比值
2. 4种评价结果：真阳性(True Positive), 假阳性，真阴性，假阴性
3. 几种常见评价指标：
   准确率（accuracy）：TP+TN / (TP+TN+FP+FN)
   召回率（recall） ：TP/ (TP+FN)
   受试者工作特征曲线（ROC,评价模型效果）：纵坐标为TPR(Rate)（检测出的阳性数/所有的阳性数），横坐标为FPR（实际为阴性但检测结果为阳性/所有的阴性数）,所以当曲线直接上走，那么面积越大，模型越好
   
4. 两种便于更清晰可视化的操作：
   1. 医学图像分割（基于像素）
   2. 医学图像融合（在规定的共同的空间坐标系生成新的图像，如PET图像(将某种短寿命的物质注入人体，在衰变过程中释放的正电子的追踪捕捉)与CT图像的融合）

四.图像算法在医学领域的应用，对医学有什么帮助及其他想法

1. 疾病诊断

2. 疾病预防（通过对大数据的训练，从影像中提取发生病变的特征并融合整张图像的信息预测未来患病的可能）

3. 医疗机器人（手术机器人，康复机器人）

4. 在药物研发（如蛋白质结构变化预测，化合物生成等领域）

5. 应用挑战：1.对3D影像特征提取的参数量过大，导致显存，时间的开销可能无法接受。 2.深度学习需要比较多的样本数据作为支撑，但是医学领域的影像在个人隐私方面的许可可能会有阻碍。 3.传统观念上的问题，有些病人对于AI进行诊断并不放心，所以对其应用会有所阻碍。

由于第三次人工智能带来的热潮，深度学习再图像检测领域取得了空前的进展，尤其在2D图像上。现如今针对不同检测任务的算法结构层出不穷，但主要以大模型方向为目标，而在医学领域，X射线断层扫描CT的3D图像在空间维度多了1个自由度，这将会对患者图像的特征提取提供非常大的帮助，将来我的计划不仅要在2D图像上精益求精，同样也会在3D图像领域将基础打磨牢固，再与老师同学的带领合作下有所创新(尤其在如何基本不压缩3D图像精度的前提下适配现有的算力条件及时间开销)，通过人工智能更加精准快速的帮助患者诊断相关疾病。
以下是我对2D图像与3D图像的不同见解：

1. 2D图像：仅有2个维度，即x，y
   3D图像：有3个维度，x，y，z

2. 多通道的卷积与3D卷积的区别：

3. 3D卷积的优劣势：
   优势：对于三维重建后的3D图像，针对某些医学领域的病情对比2D图像将会大幅提高诊断的正确率，所以在此3D图像进行卷积等特征提取操作将会获得很好的效果。
   劣势：对一个二维的图像进行特征提取所消耗的内存已经需要存储的参数量相对三维空间要小很多，但是想要提取三维图像为了满足显存及时间的要求，又必须降低三维图像的尺寸，像素精度的降低又会大幅减小识别的准确性，所以，通过那些措施在基本不降低3D图像像素精度的前提下又能满足硬件显存及时间的要求将是个必要的研究方向。