Robust Peak Detection for Holter ECGs by Self-Organized Operational Neural Networks
论文信息
题目: Robust Peak Detection for Holter ECGs by Self-Organized Operational Neural Networks
发表: IEEE TNNLS, 2022
作者:Serkan Kiranyaz, Junaid Malik, Muhammad Uzair Zahid, Turker Ince, Muhammad Chowdhury, Amith Khandakar, Anas Tahir, Moncef Gabbouj,
值得一提的是第一作者Moncef Gabbouj是芬兰坦佩雷大学计算机科学系教授,欧洲科学院院士、芬兰科学院院士、IEEE会士以及IEEE傅里叶奖委员会委员。Moncef 院士是目前图像处理领域公认的世界专家.
动机
这篇文章主要目标是实现最先进的R峰检测性能,使其具有优雅的计算效率,从而能够实时应用在低功耗ECG设备上。实用价值还是比较高.
这篇文章实际上是IEEE TBME 2022一篇文章的升级版 (见我另一片博客的分析), 更直白一点地说,就是把上一篇文章中的1D CNN模型替换为了Self organized ONN,
ONN实际上也是该团队一直在研究和力推的工作, 关于ONN请阅读另一片早期的文章Operational Neural Networks.
方法
所提方法的前处理和后处理部分与上边提到的论文方法基本一致,不再赘述, 这里重点描述ONN在该文中的具体应用.
方法动机
对于CNN 模型 做实时处理的化需要特殊的硬件如GPU来做支撑, 并且当使用紧致的network configuration时,模型性能会下降, 这主要源于CNN带有单一线性神经元的同质化网络配置.
ONN解决了上述问题,其异构网络配置用各种非线性算子封装神经元, 增加了模型操作的异质性和多样性.
为了提高R-Peak detection的效率, 作者进一步提出了带有生成式神经元的1-D Self-Organized ONNs (Self-ONNs), 简单来说:1-D Self-ONN相对于ONN的最关键的优点是它们的自组织能力,该自组织能力避免了搜索每个神经元的最佳算子集的需要,因为每个生成神经元具有在训练期间创建最佳算子的能力
Self-ONN
作者在文中花了大量的篇幅对1D Self-ONN的行向量矢量化反向传播公式进行了推导,并分析了计算复杂性, 非常晦涩,难懂,
这里试着直接通过代码来体会下Self-ONN在干什么.
ONN layer
先来看下一个基本的SelfONN1DLayer, 对于每一个这样的层,汽油两部分参数: weights和bias, 定义如下:
self.weights = nn.Parameter(torch.Tensor(q,out_channels,in_channels,kernel_size)) # (q, Cout, Cin, ks)
self.bias = nn.Parameter(torch.Tensor(out_channels)) # (Cout)
这里需要注意的是q表示做不同非线性操作的次数.
然后其forward propagation过程如下:
假设输入的尺寸为: (B, Cin, L),
可以看到:
首先通过q个非线性操作(即指数变换, 并改变阶数)来得到q份不同的non-linear transformation, 将其聚合后尺寸变为: (B, q * Cin, L).
这里需要注意的是由于指数变换可能导致值非常大,所以在操作前对input data进行了裁剪.
接着对weights进行适当变形, 尺寸变为: (Cout, q * Cin, ks);
然后通过调用torch 的conv1d来实现卷积操作, 因此增加非线性的操作本质上相当于前处理.
最后对数据进行采样, 如果sampling_factor > 1, 就是通过池化操作max_pool1d进行down-sampling, 如果sampling_factor < 0, 就是通过interpolate进行up-sampling.
到此大家对ONN layer应该有了一定认识, 更直观的对比图如下:
Self-ONN
为了方便,进一步对ONN layer进行封装来定义Up-sampling layer和Down-sampling layer, 代码如下:
最后, Self-ONN依然采用Encoder-Decoder架构, 网络示意图如下:
网络的整体定义如下,
主要优势
-
由于其网络配置的异质性, Self-ONN表现出了超强的学习能力. 并且在network depth和number of neuros更少的前提下,取得了更好的Performance.
-
与其他主峰检测方法相比,心律失常搏动的漏诊(假阴性)显著减少;
-
其轻量化的configuration使其更加方便与实时处理以及在低功耗设备上部署.
References
- ArXiv-2019-Operational Neural Networks;
- IEEE TNNLS-2022-Robust Peak Detection for Holter ECGs by Self-Organized Operational Neural Networks;