单个音频波形图和对应声谱图的可视化|特征可视化
原始资料来自原作者的jupyter notebook[jupyter]
这里的一些可视化工具,可能可以用来新的数据集分析,以及算法性能比较。
本人誊写的代码在这里[source]
单个音频波形图和对应声谱图的可视化
特征可视化
这里是用来分析所使用的音频特征的区分度(有效性)。可视化的方法有很多,但是背后其实是降维。以常用的音频特征MFCC为例,首先看一下在单个音频clip上的分布表现。这里用的seaborn的boxplot实现了一个特征分布的箱图。箱图是一个看起来高大上的统计指标,主要用来表征数据的分布情况。和简单的使用均值和方差相比,箱图可以反映更多的信息。seaborn是matplotlib的高级封装版,仅此而已。
注意 M F C C 0 MFCC_0 MFCC0的意思不大,因为它的分布实在是有点平凡。但是注意到 M F C C 1 MFCC_1 MFCC1和 M F C C 2 MFCC_2 MFCC2的分布差异很明显。(在特征表示里,特征的各个维度区分度diversity越明显越好)
我们可以进一步分析
M
F
C
C
1
MFCC_1
MFCC1在不同clips之间的表现。同样带上过零率。过零率的区分度和MFCCs还是很大的。
上面是第20类(Crying baby)的特征可视化,再看一看Rain这个类的特征可视化:
两张图一比较,就能发现这两类声音的特征 M F C C 1 MFCC_{1} MFCC1分布差异还是很明显的。
最后来一张50类的全家福: