深度学习在心肺音上的研究

@深度学习在心肺音上研究

学习目标：

研究背景：临床听诊过程中,通过听诊器采集到的心音和肺音信号通常是带有背景噪声的两者的混合信号,在医生听诊心音信号过程中会受到肺音信号的干扰,而在对肺音信号进行诊断的时候心音信号反过来又会干扰到肺音信号。

截止当前2021-9-8，国内外AI + 心肺音信号研究现状。

---

学习内容：

深度学习在心肺音上研究

国内：

1： 2021- 海军航空大学-(牟俊杰)：基于CNN-LSTM 神经网络的声纹识别系统设计。

根据梅尔道普频率系数对心肺音信号进行特征提取， 构建基于CNN-LSTM 算法的心肺音识别模型，对部分心肺音进行智能检测诊断。

物理硬件实现上：穿戴式心率检测设备： 心率传感芯片，单片机，蓝牙模块，电源模块； 电子听诊器。

软件设计上：心率检测模块， 体音检测模块，共同驱动心率传感器，IIC通信，蓝牙数据传输，心率异常预警，体音采集，智能分析诊断。
算法实现上： 代码未开源。

2：2020- 广东工业大学-(钟秀章学生，刘义老师)：基于深度神经网络的心肺音分离方法研究。

a.使用区分性训练方法 训练神经网络，用于心肺音特征的分类，使用时频掩码技术辅助心肺音分离。

b.提出一种多通道LSTM网络的心肺音分离方法。采用不同窗长特征的5个单通道LSTM子网络进行并联，让每个LSTM子网分别提取不同时频分辨率的特征，通过一加权向量，融合各个LSTM子网络输出的估计心，肺时序信号。
实验级别： 方法一 在matlab 平台上实现；方法二 ：深度学习框架TensorFlow；

3 - 2019 -河北工业大学 -基于深度学习和迁移学习的肺音识别方法研究 -杜慷
a. 使用混合去噪技术去除肺音中的噪声：先通过高通滤波器，滤除低频噪声，后续使用小波阈值进行心肺音分离，去除心音成分。
b. 使用深度学习中的迁移学习和VGG + 双向门控循环神经网络训练数据， 提高肺音的识别精度。
实验级别：Matlab数据预处理，+ tensorflow 模型训练；

4 -2018 - 广东工业大学 -基于非负矩阵分解和神经网络的心肺音分离方法研究与应用 (谢型浪 学生，谢胜利教师)
应用非负矩阵分解技术分离单通道心肺音混合信号。 应用长短期记忆网络和隐马尔科夫模型相结合的分割分离方案进行单通道的心肺音信号的分离。
实验级别： 在Matlab 结合Python上进行 仿真实验，未进行落地应用。

5- 2019- 苏州大学- 基于电子听诊器的心音定位及心肺音分离方法研究 -周宁

使用的传统方法在 心肺音预处理， 心音定位， 心肺音分离 三个方面做了研究。
a.心肺音预处理：提出一种差分配对法，快速定位出按压失真区域，通过Hermite插值法对失真区域进行修复。使用MFCC和支持向量机定位摩擦音干扰区域，通过经验模态分解和基于相关系数的成分与区域选择实现对摩擦音干扰区域的修复；
b.心音定位：提出基于每段心音成分的低频与高频成分的功率比，对可能的错定位和漏检的心音成分进行检测与识别。
心肺音分离：基于相邻心音周期之间相同成分心音段上存在大量相似信号 这一特点， 提出联合对角化进行心肺音分离。使用心音信号和参考信号之间特征向量的相关性提取出心音成分的特征向量。

---

国外：

1.2020 - deep learning for heart disease detection through cardiac sounds-
Luca - University of Molise,

Idea: 通过收集心脏声音的一组特征， 使用该组特征 作为神经网络的输入，训练神经网络，判别出心脏的健康状况。
该组输入的特征:
（1-chroma_stft: 从波形中计算出图.2 -spectral_centroid: 频谱幅度的均值
3-spectral_bandwidth: 频谱带宽 4- zero_crossing_rate;5-mfcc: 梅尔倒谱系数）

神经网络:使用自己构建的神经网络，主要由dense Layer 构成；

Experimental : 1数据的收集使用智能手机上的 Istethoscope APP 应用， 神经网络的训练使用keras, TensorFlow 框架；

2.- 2017 - Recognizing abnormal heart sounds using deep learning -
Jonathan et al - Philips Research North America, PARC, A Xerox

Ideal: 将深度学习应用于心脏听诊任务，识别心音异常，描述了一种联合时频热图与CNN结合的自动心音分类算法。修改一种损失函数，用于优化敏感性和特异性之间的权衡。
成果： 在2016年 的PhysioNet Computing 心脏病学的挑战赛上获得较好名次。

梅尔道普频率系数： 语音中，人的声道形状 包括舌头，牙齿。 声道的形状决定发出什么样的声音， 声道的形状会在 语音短时功率谱的包络中体现出来，MFCC 是描述该包络的一种特征。 MFCC， mel frequency cepstral coefficients.

小结：

深度学习在心肺音上研究，学术界国内211，985 等重点高校，已经公开的学术研究较少。

工业界的落地应用，出于目前自身的局限性， 只了解到（2021- 海军航空大学-(牟俊杰)：基于CNN-LSTM 神经网络的声纹识别系统设计），暂时没有了解到心肺音使用深度学习的落地应用， 包括清华大学- 计算机学院的智能听诊系统，暂未查询到相关公开学术；

---