[论文评析]Robust Peak Detection for Holter ECGs by Self-Organized Operational Neural Networks,IEEE TNNLS

---

论文信息

题目: Robust Peak Detection for Holter ECGs by Self-Organized Operational Neural Networks
发表: IEEE TNNLS, 2022
作者:Serkan Kiranyaz, Junaid Malik, Muhammad Uzair Zahid, Turker Ince, Muhammad Chowdhury, Amith Khandakar, Anas Tahir, Moncef Gabbouj,
值得一提的是第一作者Moncef Gabbouj是芬兰坦佩雷大学计算机科学系教授，欧洲科学院院士、芬兰科学院院士、IEEE会士以及IEEE傅里叶奖委员会委员。Moncef 院士是目前图像处理领域公认的世界专家.

动机

这篇文章主要目标是实现最先进的R峰检测性能，使其具有优雅的计算效率，从而能够实时应用在低功耗ECG设备上。实用价值还是比较高.

这篇文章实际上是IEEE TBME 2022一篇文章的升级版 (见我另一片博客的分析), 更直白一点地说,就是把上一篇文章中的1D CNN模型替换为了Self organized ONN,

ONN实际上也是该团队一直在研究和力推的工作, 关于ONN请阅读另一片早期的文章Operational Neural Networks.

方法

所提方法的前处理和后处理部分与上边提到的论文方法基本一致,不再赘述, 这里重点描述ONN在该文中的具体应用.

方法动机

对于CNN 模型 做实时处理的化需要特殊的硬件如GPU来做支撑, 并且当使用紧致的network configuration时,模型性能会下降, 这主要源于CNN带有单一线性神经元的同质化网络配置.

ONN解决了上述问题，其异构网络配置用各种非线性算子封装神经元, 增加了模型操作的异质性和多样性.

为了提高R-Peak detection的效率, 作者进一步提出了带有生成式神经元的1-D Self-Organized ONNs (Self-ONNs), 简单来说:1-D Self-ONN相对于ONN的最关键的优点是它们的自组织能力，该自组织能力避免了搜索每个神经元的最佳算子集的需要，因为每个生成神经元具有在训练期间创建最佳算子的能力

Self-ONN

作者在文中花了大量的篇幅对1D Self-ONN的行向量矢量化反向传播公式进行了推导，并分析了计算复杂性, 非常晦涩,难懂,

这里试着直接通过代码来体会下Self-ONN在干什么.

ONN layer

先来看下一个基本的SelfONN1DLayer, 对于每一个这样的层,汽油两部分参数: weights和bias, 定义如下:

self.weights = nn.Parameter(torch.Tensor(q,out_channels,in_channels,kernel_size)) # (q, Cout, Cin, ks)
self.bias = nn.Parameter(torch.Tensor(out_channels)) # (Cout)

这里需要注意的是q表示做不同非线性操作的次数.

然后其forward propagation过程如下:
假设输入的尺寸为: (B, Cin, L),
可以看到:
首先通过q个非线性操作(即指数变换, 并改变阶数)来得到q份不同的non-linear transformation, 将其聚合后尺寸变为: (B, q * Cin, L).

这里需要注意的是由于指数变换可能导致值非常大,所以在操作前对input data进行了裁剪.

接着对weights进行适当变形, 尺寸变为: (Cout, q * Cin, ks);

然后通过调用torch 的conv1d来实现卷积操作, 因此增加非线性的操作本质上相当于前处理.

最后对数据进行采样, 如果sampling_factor > 1, 就是通过池化操作max_pool1d进行down-sampling, 如果sampling_factor < 0, 就是通过interpolate进行up-sampling.

到此大家对ONN layer应该有了一定认识, 更直观的对比图如下:

Self-ONN

为了方便,进一步对ONN layer进行封装来定义Up-sampling layer和Down-sampling layer, 代码如下:

最后, Self-ONN依然采用Encoder-Decoder架构, 网络示意图如下:

网络的整体定义如下,

主要优势

1. 由于其网络配置的异质性, Self-ONN表现出了超强的学习能力. 并且在network depth和number of neuros更少的前提下,取得了更好的Performance.

2. 与其他主峰检测方法相比，心律失常搏动的漏诊（假阴性）显著减少;

3. 其轻量化的configuration使其更加方便与实时处理以及在低功耗设备上部署.

References

1. ArXiv-2019-Operational Neural Networks;
2. IEEE TNNLS-2022-Robust Peak Detection for Holter ECGs by Self-Organized Operational Neural Networks;