论文阅读(9)---基于Transformer的多模态CNN心电图心律失常分类

Multi-module Recurrent Convolutional Neural Network with Transformer Encoder for ECG Arrhythmia Classification

研究背景

目前已存的关于心电图分类的方法主要包括：

1. 将原始心电图作为输入，并且将ECG分段以后利用1DCNN进行分类
2. 侧重于心电图信号的频率特征，使用其时间频率光谱图作为2D CNN的输入进行分类

目前的分类方法的限制包括有：

3. 缺乏时间关系：1DCNN或者2DCNN都是将心电信号划分表为一组1D 片段或者不同时间的2D 光谱，并没有一个机制模拟这些片段之间的时间关系。
4. 未考虑元数据：心电图信号属于高维空间表示，而元数据一般以二进制数值（性别）或者比例（年龄）表示。现有的大多数方法都没有考虑元数据，而结合心电图信号的高维空间和低维的元数据维空间都是很有挑战性的。
5. 单个模块：现有大多数方法都是单模态的，几乎没有融合多个模态的方法。

研究贡献

提出了一个多模态循环神经网络（RCNN）与Transformer结合的网络，网络使用LSTM作为RN，包括有四个模块：

1. 1DRCN的时间序列模块：该模块利用一维卷积神经网络从时间序列中提取空间信息然后用LSTM模拟一维的时间关系
2. ２DRCN的光谱图模块：该模块利用STFT得到光谱图，然后利用２DCNN学习空间域的视觉表示，并且应用LSTM对心电图信号的光谱图进行建模
3. 元数据模块：对元数据进行功绩化/矢量化，以学习性别和年龄的语义信息
4. Tramsformer模块：将来自三个模块的信息融合到Transformer下。
   

代码

https://github.com/Vidhiwar/multimodule-ecg-classification