论文地址：OTNet: A CNN Method Based on Hierarchical Attention Maps for Grading Arteriosclerosis of Fundus Images with Small Samples | SpringerLink
Background
眼底动脉硬化是一种典型的眼底血管疾病。一般来说，50岁以上的中老年人患老年性动脉硬化的程度会有所不同。临床上，Keith–Wagener方法 （文中采用的是这种）和 Scheie方法 会根据眼底图像将眼底动脉硬化的严重程度分为四个级别。
Keith–Wagener分级原则是基于整个眼底图像特征的视乳头水肿：
1级：视网膜动脉较正常动脉薄；2级：动脉狭窄程度大于1级，动脉壁回流增强；3级：除视网膜小动脉狭窄外，还存在视网膜水肿、棉棉斑、出血等视网膜病变。；4级：与3级相比，该级还伴有视乳头水肿
做这个工作的生物学意义
准确识别眼底动脉硬化的程度是非常重要的，因为它可以帮助医生确定患者的系统性动脉硬化和其他相关疾病，如高血压、高脂血症、糖尿病等的严重程度。准确识别其严重程度有助于早期发现和治疗该疾病，以便医生提供不同的治疗方案。过去，由于任务的复杂性，领域专家只能手工完成评分，该方法花费大量的时间和精力，容易受到主观因素的影响。
其他做这类工作的方法
非深度学习方法：
In 2019, Wu J et al. proposed a two-class classifcation method of fundus arteriosclerosis based on the segmentation of arteries and arterial refection areas.---这项工作在完成图像分割之后，需要在图像上画线，测量有效区域的带宽比、灰度比等，并设置阈值，手动确定图像属于哪个类别---该方法没有考虑眼部渗出物和图像中的斑点；特征需要手工进行提取、操作较为复杂
In 2020, Parameswari et al. used an enhanced Bayesian Arithmetic Classifer mixed with other machine learning algorithms for the two-class classifcation.---该方法用了一种增强的贝叶斯算术分类器与其他机器学习算法混合来进行两类分类
其他深度学习应用在眼部疾病的工作：论文当中提到了IterNet. IterNet, 一种新的视网膜血管分割网络结构。主要方法是：利用原U-Net的级联结构和多个迷你u网的级联结构，可以从分割图像中找到模糊的血管细节，进一步优化分割结果。(注：这个网络方法会在OTNet这篇论文里面用到，作为视网膜血管分割模型，并使用分割后的图像进行后续的分类任务）
然后论文当中也提到了本文的方法归类为非粒度方法，并给出了一些粒度视觉分类任务的方法。虽然用的不是粒度视觉分类方法，不过本文注意到，Scheie分类方法指出，视网膜血管在分类过程中起着决定性作用，而Keith-Wagener分类方法指出，除了视网膜血管信息外，眼底图像中还有白色棉斑、出血斑、乳头水肿等症状。因此，对于本文的分类，会综合上述的有影响的因素，对血管和非血管的特征都进行提取。
Method
Image Preprocessing
图像预处理部分介绍了图像全局细节增强的方法，以及以视网膜血管图像为媒介生成血管注意图、非血管注意图和凸包注意图的方法
图像全局细节增强
算法如下图所示。简单来讲，就是将原来的RGB图像转换为LAB图像。其中，L表示图像亮度；处理完L通道后， 将转换后的L信道与A和B信道叠加--------->然后再转换为RGB图像，从而实现图像全局细节增强
左图是处理前图像，右图是处理后图像
视网膜血管分割
算法如下图所示。
1.视网膜血管图像：
用IterNet进行视网膜血管分割，此时得到的图像只指出了视网膜血管的位置；
2.血管的注意力图：
将IterNet生成的图像与全局细节增强图像逐像素相乘（在视网膜血管的位置添加颜色和亮度等信息）；
3.非血管的注意力图：
掩盖血管域位置图，仅从球状细节增强图像中分离出非血管区域（眼底图像中的非血管区域，可得到如白色棉斑、出血点、视盘等特征），将其于与全局细节增强图像逐像素相乘
凸包注意力（2.1.3）
目的是让网络学习的过程中专注提取最具区别性的区域（集中在视网膜血管及其周围区域），得到的凸面多边形内部是白色区域、外面是黑色区域。其实就是形成了一个0、1的掩码，里面有特征的是1、掩盖掉的是0，这样能集中提取重要的特征。作者将掩膜图像（即做了凸包变换的图像）跟全局细节增强图像逐像素相乘，得到凸包注意力
我们可以看到，如下图，左图是未进行凸包变换的，右图是进行了凸包变换的。凸包变换可以证明凸包变换可以切割出由拍摄角度、光等引起的阴影区域。
网络模型
OSNet
用在凸包注意力图上。输入的数据集是小样本，因此应用模型需要在高精度、低复杂度中平衡。因此，对于提取凸包注意图这部分，作者选择了Resnet18作为训练的网络模型，为了适应文中的问题，分类出四个级别的眼底严重情况，最终的输出不是原来的完全连接层，而是一个有四个输出神经元的全连接层，并使用softmax激活函数来得到最终的输出。
input->眼底图像
output->对应Input输入图像的对应（四个严重级别）的类别
TSNet
TSNet要提取两部分的特征，因此采用了基于多模态图像的疾病分类来构建TSNet，两个注意力图提取特征时的网络都是用了ResNet18，分别训练。一个训练样本对为{Iva, Inva},其中 Iva是血管注意图，Inva是非血管注意图，一对这样的训练样本是来自同一眼底图像的。标签则是0~n-1，n表示类别，其中在该网络中，n=4（因为是分为4个级别）
在血管注意力分支上，Fva = {Fva,1, ..., Fva,512}是血管注意图分支Resnet18最后一个残差块生成的m×m特征图数组；同理Fnva在非血管注意图分支上得Fnva= {Fnva,1, ..., Fnva,512}.因为我们得输入是512x512，所以在这个实验中，m=16。Fva和Fnva都包含用于分类的高级语义信息。为了结合两者学习到的语义信息，我们使用Fva和Fnva后的全局平均池得到两个1×512特征向量，并将它们连接在一起形成一个1×1024特征向量。然后，通过一个全连接层得到神经元分类结果。
OTNet
将以上两个网络学习到的特征集中起来（模型集成）。这个模型是将——以上两个网络训练后的最后一个残差块（因为用的是Resnet18）得到的特征图连接起来，这样能够得到足够丰富的特征，既包括全局血管+非血管的特征，也得到了只集中于视网膜图像部分的特征。然后将连接得到的特征输入到OTNet的分类器当中。
关于这个分类器（对应图中的绿色classifier）：
由三个卷积堆层和一个全连接层组成。
- 一个卷积堆：32个1x1卷积核
- 一个卷积堆：32个1x1卷积核
- （只改变通道数、没有改变图像大小）---实现了跨信道特征的集成
- 一个卷积堆：128个16x16卷积核
- （捕获空间信息）
- 最后全连接层：4个结点
To reduce the number of parameters, the last layer of convolution uses group convolution. Every 4 flters are a group; each group corresponds to a channel of the input feature map.（随后论文中提到这个，但这里不是特别理解）
损失函数
用的是加权交叉熵损失函数，原因是数据集中存在类别不平衡问题，有些类别的数据集较少，因此希望在训练过程中，当预测错误时，具有少量数量的类别会收到更大的惩罚。
Results
数据集
provided by Tianjin Huanhu Hospital, and the classifcation labels are marked by experts
图像总数为706张。其中，一级281例，二级183例，三级116例，四级126例。
评价指标
Kappa系数、加权f1评分和AUC指数，还有ACC准确性
实验设置
- 做4折验证，计算平均结果
- 对图像进行一些预处理，比如图像水平固定、角度旋转、像素归一化。让图像样本的最大化得到利用
- Adam优化器：批量大小为32
- 初始学习率：5e-4
- 学习率衰退方法：余弦退火
- 衰减周期：20轮迭代
- 显卡：NVIDIA Tesla P100 GPU
实验
- 改变输入图像的大小
- 进行消融实验检测凸包注意力是否有效果
- 跟不同模型（其他方法）进行比较
- 分析每个级别的预测情况
- 可视化出来看看不同模型（自己方法与其他方法）对于输入的图像的关注点在哪里
总结
实验结果就不贴出来了，总得来说，该论文的方法还是对比其他方法，性能上有显著提升。另外，凸包注意力图确实是能够提取出比较重要的特征，在消融实验中可以看出即使只用凸包注意力图，也是能够得到很好的结果。论文中的实验结果还是做了不少工作的，值得回到原文看看、读读。
关于这篇论文的笔记记录到这里结束。欢迎指评与补充！
2518
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
