声音序列处理相关文献

第一篇：深度学习在音频信号处理领域的进展

1. 项目目标

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rGDeChMm-1607541364016)(C:\Users\李思颖\AppData\Roaming\Typora\typora-user-images\image-0201208153752406.png)]

预测一个全局的单标签的任务——序列分类

党目标为多个类别的集合的时候——多标签序列分类

当目标是一个连续的数值的时候——序列回归

---

2. 声音特征

   传统的方法：MFCC

   1） 使用FFT提取幅度谱

   2）应用Mel滤波进行Mel频域的转化

   3）使用log进行非线性变化

   4）使用DCT进行系数特征的提取。————> DCT会损失声音结构，目前普遍使用的是log-mel spectrogram。

   但是这些都是人工设计的固定滤波器，（滤波器：对声音进行不同的权重加成，而这些权重完全可以由神经网络来学习）——————> 直接使用神经网络来对声音序列进行学习。

   ---

3. 声音模型

   MLP,CNN,RNN,LSTM等

   MLP: 输入一维的系数向量 比如展平的MFCC 。MLP每次学习都是针对全局的特征

   CNN ： 一维声音序列<-> 1-DNN进行学习

   ​ 二维频谱图<-> 2-DNN进行学习

   ​ 局部特征提取，学习局部特征的关联性，比如相邻帧的关系，相邻特征（频率维度）的关系。

   ​ 参数量小，模型复杂程度低。

   RNN： 对时间上具有相关性较强的序列数据有很好的效果。

   ​ 缺点：速度慢，加上会出现梯度消失的问题。

   CNN和RNN会结合起来使用，先通过CNN来进行高维特征的提取，然后再使用RNN对时间相关性进行建模。

   ---

4. 数据

   训练集：本次项目的训练集项目直接给了

   两种数据增强的办法：

   1）迁移学习：

   ​ 指的是再大数据集上先进行模型预训练，然后再在目标领域进行微调。

   2）数据增强或者数据生成

   数据增强是指对现有数据进行参数化的调整从而生成新的数据，典型的数据增强的方法是Time Stretch和Pitch Shift

5. 应用

   环境音的识别

   1）声音场景的识别

   将某一段音频预测为某一个声音类别。经典分类任务。

   2）声音事件的检测

   一段声音流某一类或者某几类声音在时间维度上的起始点与终止点。

   3）声音事件的标注

   给你一段声音，让你判断这段声音包含哪些声音类别，这些判断可能会包含更加细粒度的分类。

---

总结：

我们的项目属于声音事件的标注类型。

问题：1）项目目标方面，我们是属于全局但标签的分类任务嘛？

2）我们具体采用什么办法去提取训练声音特征？

3）我们采用什么样的模型去做这个项目？

4）我们是需要把混合音频分离出来再去分类还是可以直接进行分类呢？

第二篇：机器学习中的音频特征：理解Mel频谱图

1. 随时间采集了气压样本，以数字方式表示音频信号

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7WM7dCPY-1607541364021)(C:\Users\李思颖\AppData\Roaming\Typora\typora-user-images\image-20201208163455976.png)]

2. 使用快速傅里叶变换将音频信号从时域映射到频域，并在音频信号的重叠窗口部分执行此操作。

3. 将y轴（频率）转换为对数刻度，将颜色尺寸（幅度）转换为分贝，以形成频谱图。

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5fyKV8Yk-1607541364025)(C:\Users\李思颖\AppData\Roaming\Typora\typora-user-images\image-20201208163541731.png)]

4. 将y轴（频率）映射到mel刻度上以形成mel频谱图。

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-B4i9UJUh-1607541364029)(C:\Users\李思颖\AppData\Roaming\Typora\typora-user-images\image-20201208163606124.png)]

第三篇：如何利用深度学习进行语音识别

来源：如何利用深度学习进行语音识别

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bhQN6X5D-1607541364032)(C:\Users\李思颖\AppData\Roaming\Typora\typora-user-images\image-20201209160459267.png)]

声音的处理：

1. 将声波转化为比特。

​ 声波是一维的，它再每个时刻有基于高度的值。通过记录等距时间声音的高度来记录。即采样的过程。这样你可以得到一个**.wav音频**文件。

​ 语音识别一般是16khz（每秒16000个采样）。下面是前100个采样的例子：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4R3vfYex-1607541364034)(C:\Users\李思颖\AppData\Roaming\Typora\typora-user-images\image-20201209160937054.png)]

采样定理（Nyquist theorem），我们知道我们可以利用数学，从间隔的采样中完美重建原始声波——只要我们的采样频率比期望得到的最高频率快至少两倍就行。

2. 对.wav文件进行划分。然后为各个频段的声波建立指纹

   划成为20ms的音频块（320个采样）但这样的音频，仍然是不同频率的声音组合在一起，包含中低高音。通过傅里叶变换将复杂的声波分解成一个个部分（按照频率的低中高音）。将每个频段的能量相加，然后为各个类别的频段创建对应的指纹。

   结果就是从低音（低音音符）到高音，每个频率的重要程度。以每50个hz为一个频段的话，我们上面20ms的音频所含有的能量从低频到高频就可以表示为下面的这个列表：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ALFFThv5-1607541364036)(C:\Users\李思颖\AppData\Roaming\Typora\typora-user-images\image-20201209161941378.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-smgNmudg-1607541364038)(C:\Users\李思颖\AppData\Roaming\Typora\typora-user-images\image-20201209161959885.png)]

3. 如果对每个20ms的音频块都重复上面的这个过程，最后就会得到一个频谱图（从左到右每一个都是29ms的音频块）

   这就是我们实际输入到神经网络中的数据

第四篇：LSTM模型结构的可视化

]

3. 如果对每个20ms的音频块都重复上面的这个过程，最后就会得到一个频谱图（从左到右每一个都是29ms的音频块）

   这就是我们实际输入到神经网络中的数据