基于知识蒸馏的心律失常分类模型

基于知识蒸馏的心律失常分类模型

期刊：电子设计工程

时间：2022

研究院：中国科学院微电子研究所，硕士

关键词：心律失常；卷积神经网络；注意力；知识蒸馏

ECG 心律失常分类

ECG 心律失常分类模型一般分为 3 个步骤：ECG 信号提取与预处理、ECG 信号特征提取、ECG 心律失常分类[1]。

样本数量的不平衡会导致训练后的神经网络对多数类样本过拟合 ，对少数类样本的分类灵敏度较低。因此需要对 ECG 输入数据进行数据增强。该文使用合成少数类过采样算法（Synthetic Minority Over- sampling Technique，SMOTE）[11] 对一维 ECG 信号进行数据增强。SMOTE 算法是基于随机过采样算法的一种改进方案 ，对数据中的少数类样本进行分析并模拟出新样本 ，之后将新样本添加到数据集中。最后将每个一维 ECG 心拍转换为适合于输入二维 CNN 模型的二维图像数据。

由于卷积运算通过将通道和空间信息融合在一起来提取特征 ，该文在每个基本模块中的深度卷积之后加入了结合通道注意力和空间注意力的 CBAM 模块[14]，通过CBAM 模块来强调通道和空间部分的有意义的特征。CBAM 模块将注意力过程分成两个独立的部分 ，可以减少所需的参数量和计算量。CBAM 模块示意图如图 2 所示

通道注意力模块主要是探索不同通道间的 feature map，示意图如图3 所示。卷积后的 feature map 经过 MaxPool 池化和 AvgPool 池化聚合特征图的空间信息 ，生成最大池化特征F c max 和平均池化 F c avg 特征。这两个特征经过多层感知器 MLP 后进行加和和 sigmoid 激活后得到最终的通道注意力特征 Mc 。

空间注意力模块的示意图如图 4 所示。通道注意力 Mc 和输入的 feature map 经 elementwise 相乘后生成空间注意力模块的输入特征图。输入特征图沿通道作 MaxPool 池化和 AvgPool 池化后聚合 feature map 中的通道信息，再利用一个卷积层对其进行卷积，经sigmoid 激活后得到空间注意力特征 Ms ，最后将空间注意力特征 Ms 与原输入的 feature map 相乘得到新的 feature map。

网络基础模块示意图如图 5 所示。在每个模块内使用 2 次 1×1 的 PW 卷积和 1 次 3×3 的 DW 卷积， DW 卷积层后接 CBAM 模块。