1、原来的方案:
(1)采用MFCC(梅尔倒谱)作为音频的特征
(2)采用DTW算法计算两段音频的距离,然后根据距离判断这两个音频是否是同一个音
方案的问题:经过实际数据验证,发现不同人读相同内容,计算出的距离会比较大。可能是因为我们对于MFCC每个维度的特征是同等对待的,有些特征可能是跟发音人者的音色相关度比较大,跟内容相关度小。
2、优化的方案:
根据之前的猜测,我们假设对于某个音节,可能有几个维度的特征跟其他音节差别特别大,我们需要找到这几个特征。基于这个假设,我们采用穷举法从13个特征中找到最能区分音节的特征组合。
代码如下:
# -*- coding: utf-8 -*-
import os
import numpy as np
from scikits.audiolab import wavread
import scikits.talkbox
import fastdtw
from scikits.talkbox import features
from scikits.talkbox.features import mfcc
weight=[0,1,1,1,1,1,1,1,1,1,1,1,1]
fdict={}
def getfeature(x):
if(fdict.has_key(x)):
return fdict[x]
else:
data, fs, enc=wavread(x)
temp=mfcc(data)[0]
fdict[x]=temp