ECG Arrhythmia Classification Using Transfer Learning from 2-Dimensional Deep CNN Features

关键词：Densenet, transfer learning ,svm,

心电信号分割，转频谱图图片，Densenet得到特征，svm分类

一. 简介

        频谱图能够通过对信号的每个分区进行傅立叶变换来捕捉图像中信号功率的变化。分区的数量可以看作是一个可调优的超参数，这取决于信号的细节以及类之间信号的相关变化。在这项工作中，选择了31个分区来创建光谱图。每类光谱图的样品如图2所示。

       摘要：由于在深度学习领域的最新进展，已经证明，在大量数据的基础上训练的深度神经网络比心脏病专家更能识别心律失常。此外，传统的特征提取被认为是心电图模式识别的一个组成部分，然而，最近的研究表明，深层神经网络可以直接从数据本身执行特征提取的任务。为了利用深度神经网络进行训练数据的精确性和特征提取，需要大量的训练数据，而在独立研究的情况下，这是不实际的。针对这一挑战，本文从迁移学习的角度研究了四种心电模式的识别与分类，将从图像分类领域学习到的知识传递到心电信号分类领域。结果表明，在一个训练了大量通用输入图像的深神经网络中学习到的特征图可以用作心电图信号谱图的通用描述符，从而产生能够对心律失常进行分类的特征。总的来说，通过十倍交叉验证对近7000个实例进行分类，准确率达到97.23%。 

       最近，在流行的模式识别问题中，通过深度学习方法获得的最先进的性能促使研究人员和工程师将这些技术应用到生物医学图像和信号处理领域。在这方面，使用复发神经网络（RNN），特别是长短期记忆网络（LSTM）[2]和卷积神经网络（CNN）[3]的深度学习方法在心电图领域显示出了很有前景的结果。使用深度神经网络（dnns）的主要优点之一是，神经网络可以直接从数据本身自动学习复杂的代表性特征，因此，无需使用手动特征提取。利用这一优点，有机会创建端到端的学习系统，以心电图信号作为输入和输出心律失常类预测，同时自动提取“深层特征”。使用dnn的另一个优点是，在有足够数据量的情况下，更深的网络可以提供更高的准确度和更好的分类细粒度心电信号的结果。

      尽管dnns在心电图领域具有优势，但其中一个缺点主要阻碍了这些工具的广泛使用，即数据量少的缺点。与传统的分类方法相比，DNN需要大量的数据进行培训。这个问题在数据集大小和深度特性之间造成了一个缺口，因为在这个域中公开可用的数据集比较缺乏。 

  为了填补这一空白，并出现心电图数据量较低与高性能深部特征的问题，在本研究中，我们提出使用二维领域的转移学习。与数据集相对较小的心电图信号域相比，图像分类和目标识别域是训练数据量最丰富的领域。这些域包含足够数量的数据来训练dnn并找到能够在图像中表示复杂模式的特征图。如果使用频谱图将一维心电图信号转换为二维图像，则这些学习到的特征图可以传输到心电图域。结果表明，深部神经网络Densenet，经过IMAGENET课程的预训练，可以作为心电图信号频谱图中的特征提取器，对四种不同的心律进行分类，包括正常窦性心律（正常）、心房颤动和扑动（AF）、心室颤动（VF）和ST段变化（ST）。

二.B.Fine-Grained心律失常分类的挑战

       在与这项工作类似的独立研究中，当面临检查独特异常节律的挑战时，存在足够数量的训练数据（包括目标节律的记录）至关重要。需要在心电图信号中检查的细节通常是fine-grained的和类似的，因此，即使对于训练有素的心脏病学家，也很难检测到模式[1]。然而，这个领域中存在的数据集包含了少量的数据，或者对于许多异常的节奏没有数据。当人们打算从深度学习的角度来接近它时，这种挑战会被放大；而深度学习可以帮助检测fine-grained的模式，训练深度神经网络需要大量的数据。如果试图对少量训练数据进行深层神经网络训练，可能会发生过度拟合，导致分类器无法检测到未知数据中的模式。解决这个问题是至关重要的，因为经过训练的分类器可用于检测从人类受试者身上获得的心电图模式，而未能在新的看不见的数据上检测经过训练的模式可能会产生“生死攸关”的后果。

      因此，数据集的可用性、数据量以及对未知数据进行分类的结果的可靠性对训练深神经网络进行心电图模式识别提出了挑战。然而，出于同样的原因，我们鼓励从另一个角度进行深入学习，这不仅有助于解决上述问题，而且有助于解决这些问题。在这项工作中，我们检验了“迁移学习”和“现成的CNN特征”在心电图信号异常节律检测中的应用，以实现高精度和高可靠性。所取得的成果是针对小型训练数据集的情况。 

C.转移学习和现成的CNN功能 

      从一个领域或任务的模式中学习的知识可能适用于另一个领域或任务的模式。利用迁移学习（TL）技术，可以在两个域之间转移这些知识，并在后一个域中使用这些知识来实现分类。当缺乏足够的数据、足够的经验和强大的计算资源时，这项技术被使用并且是明智的。这项技术的一个应用是利用预先训练的深度CNN进行自动特征提取。该网络中的卷积层包含在对原始数据集进行培训期间学习的特征图，并掌握有关该数据集中存在的模式的知识。这些功能映射可以充当另一个数据集中的功能提取程序。这些“现成的”从深度神经网络的中间层提取的特征足够强大，可以克服手工制作的特征，成为特征提取的理想候选[4] 

      在这项工作中，我们的目标是通过深度神经网络（densenet）将从ImageNet数据集中的数百万图像中学习到的知识带到ECG域，并使用该神经网络作为特征抽取器对成千上万个实例的小数据集进行分类。我们表明，从ImageNet数据集（由动物和物体等多种图像组成）中学习到的模式可以用来表示心电图信号的频谱图。 

D,Densenet

     稠密卷积神经网络（densenet）是一种深度卷积神经网络，采用前馈方法将每一层与每一层连接起来[5]。这种类型的连接有助于减弱渐变消失的问题，从而得到更好的训练和特征传播。densenet在目标识别基准任务中显示出了很好的效果。Densenet的架构涉及四个长度可变的密集块。在这项工作中，我们使用一个预先训练的densenet-161，它有161个卷积层通过其结构，并检查这些层的输出进行特征提取。

三. 方法论 

      为了将输入的心电信号分为四类，首先对记录进行切割，并根据注释选择数据。然后，通过使用光谱图将每个数据实例转换为图像。然后将这些图像输入预先训练的densenet（161层深度CNN）中，通过找到12个中间卷积层的输出来提取特征。最后，通过十次交叉验证，利用支持向量机对这些特征进行分类，并根据它们的性能确定最优层。分类步骤如图1所示。 

      这项工作中分类的数据是从四个不同的数据集中提取的：1）MIT-BIH房颤数据集：该数据集由24个记录近10小时的记录组成，记录自患有房颤的人体受试者（主要是阵发性的）。2）MIT-BIH恶性室性心律失常数据库：包含22个半小时的记录，该数据集包括室性心动过速、心室颤动和心室颤动的模式。3）欧洲STT数据库：包括90个不同长度的动态心电图记录的注释摘录，该数据集包含367个ST改变事件。4）MIT-BIH正常窦性心律数据库：该数据库包括18份无明显心律失常受试者的长期心电图记录。

      上述数据集包含许多记录，因此也包含许多节拍。为了选择包含足够信息的数据实例，我们定义了500个样本的窗口大小，并将每个记录切割为包含此数量样本的数据实例。此窗口大小在每个数据实例中允许大约3到7次跳动。

       使用中的数据集包含心律失常，这些心律失常已由不同的心脏病学家在不同的方法中进行了注释。AF和VF数据集具有标记节奏类型变化的注释。对于ST数据集，注释标记ST级别中每个更改的边界。为了保持准确，数据选择发生在注释标记附近或数据集中所有记录的更改峰值附近。在正常的数据集中，只有节拍被注释，因此，数据选择在注释节拍周围随机发生。为了多样化，所有类中的数据选择都是从每个数据集中的所有记录中完成的。            

     总的来说，选择了7008个数据实例来显示感兴趣的节奏的症状和模式。与常用图像分类任务中使用的数百万个数据实例相比，此数据量非常小。

    由于在这项工作中，采用了一个预先训练好的深度神经网络作为心电信号的特征提取，因此需要将数据实例转化为图像。为了做到这一点，我们使用光谱图。频谱图能够通过对信号的每个分区进行傅立叶变换来捕捉图像中信号功率的变化。分区的数量可以看作是一个可调优的超参数，这取决于信号的细节以及类之间信号的相关变化。在这项工作中，选择了31个分区来创建光谱图。每类光谱图的样品如图2所示。 

    研究表明，从卷积神经网络的内层提取的广义描述符能很好地表示输入。它在Nguyen等人的作品中展示。[6]特征提取层对识别任务的准确性有直接影响。 

F，特征选择与分类

     这一理论直观上是可以理解的，因为每一层都有不同的特征图，这些特征图在特定的模式下被激活。为了进行特征提取，对densenet内的几个卷积层的输出进行了检验，并将其视为特征向量。我们随机选择12个图层，从每个图层的输出中为每个输入图像提取一个特征向量。 

四、结果              

A.实验装置              

     为了从光谱图中提取特征向量，我们从[7]中获得了densenet的keras实现。采用Densenet-161预训练的权值和模型，形成了一个深度神经网络，其中161个卷积层训练在1000类通用图像上。我们随机检查了12个图层，并将这些图层的输出作为特征向量。特征提取后，采用线性支持向量机进行十倍交叉验证。在每个折叠内应用特征选择时，重复该过程。 

B.结果              

     通过densenet进行特征提取和通过SVM进行分类的结果如图3所示。可见，一些图层包含的特征图在识别输入数据模式和提高精度方面表现良好。此外，特征提取的最佳层是特征选择前后的第112层。通过选择特性，总体精度通常提高近2%，表明了这项任务的重要性。当检查不同层在每个类上的性能时，很明显ST是所有层中最难分类的类，不管所选层如何，它的F1分数最低。此外，此图还演示了每个层在从不同类的输入中提取特性方面具有不同的能力，其中包含不同的模式。 

      通过densenet进行特征提取的最佳结果来自第112层，结合SVM分类和特征选择。该层提供97.23%的准确度。最终结果的混淆矩阵如图4所示。表1比较了不同类别的结果 

    为了显示使用频谱图将1-D心电图信号引入2-D域的效果，分别对原始1-D信号及其频谱图进行了两个额外的SVM模型训练。其结果如表二所示，以及使用densenet作为特征提取程序的结果，以及两项相关工作。            

     表二显示了三点。首先，通过频谱图转换心电图信号，大大提高了模型的准确性。其次，利用densenet作为特征提取工具，可以更好地识别光谱图，提高了识别的准确性。第三，我们的结果优于[8]，可以说可扩展到[3]。虽然[3]有大量的课程，它们之间可能有更高的重叠，但是大量的培训数据允许具有高精度和回忆能力。另一方面，[8]由于我们的课程数量非常接近，并且有更多的实例，所以获得了较低的F1分数。因此，通过将学习和转换到二维域，我们能够提取出更好的心电图信号的代表性，并在数据量较小的情况下改善分类结果。  

五、结论              

      据我们所知，这项工作是第一次尝试使用深度CNN，对数百万张图像进行预先培训，作为心电图信号频谱图的特征提取。通过使用预先培训的161层densenet作为特征提取器和SVM进行分类，对包含四类节律的大约7000个心电图信号样本的小数据集进行分类，可获得97.23%的准确度。结果表明，首先利用频谱图将心电信号转换成图像，可以保留其精细的细节；其次，从深度神经网络中大量的通用数据中学习到的特征图可以很好地表示心电信号的频谱图。 

完成！！！