基于工业音频的降噪算法

基于IBM的音频降噪算法

首先，本文主要是介绍工业音频的数据处理方式，跟语音的处理方式有些许的不同。工业上常见的噪声包括但不限于一下：设备报警声音、人声、排风扇声、杂物托运和设备检修等等，当我们采集目标音频时，这些都会噪声都会成为一定的干扰，对工业上监控设备运行状态、产品质量具有很大的挑战。文献上对工业音频异常分析相对较少，因此，本文针对以上问题，先简单介绍一下一个比较实用的音频降噪算法。
其次，工业音频的特点可以分为：连续和离散
最后，工业异常音频太少且不好模拟。

算法思想

语音在时频域上是稀疏分布的，很多噪声相对于正常音频是离散的，因此大多数噪声的时频单元上的信噪比极高或极低。IBM 是对这种现实情况的简化描述，将连续的时频单元信噪比离散化为两种状态 1 和0，即，将噪声和正常音频二值化，形成一个mask掩膜，在一个时频单元内：如果语音占主导（高信噪比），则被标记为 1；反之如果噪声占主导（低信噪比），则标记为 0。最后将 IBM 和带噪语音相乘，实际上就是将低信噪比的时频单元置零，以此达到消除噪声的目的

Python实战

// feature 

def generateDataset():
    mix, sr = librosa.load("./noisy.wav", sr=32000)
    clean,sr = librosa.load("./clean.wav",  sr=32000)
    win_length = 256
    hop_length = 128
    nfft = 512
    mix_spectrum = librosa.stft(mix, win_length=win_length, hop_length=hop_length, n_fft=nfft)
    clean_spectrum = librosa.stft(clean, win_length=win_length, hop_length=hop_length, n_fft=nfft)

    mix_mag = np.abs(mix_spectrum).T
    clean_mag = np.abs(clean_spectrum).T

    frame_num = clean_mag.shape[0] - frame_sub  # mix_mag.shape[0] - frame_sub
    feature = np.zeros([frame_num, dim*frame_len])
    k = 0
    for i in range(frame_num-frame_sub):
        frame = mix_mag[k:k+frame_len]
        feature[i] = np.reshape(frame, dim*frame_len)
        k += 1
        # print(k)
    if len(clean_mag) > len(mix_mag):
        snr = np.divide(clean_mag[:len(mix_mag)], mix_mag)
    if len(clean_mag) <= len(mix_mag):
        snr = np.divide(clean_mag, mix_mag[:len(clean_mag)])
    mask = np.around(snr, 0)
    mask[np.isnan(mask)] = 1
    mask[mask > 1] = 1

    label = mask[2:-2]

    ss = StandardScaler()
    feature = ss.fit_transform(feature)
    return feature, label

// DNN 

model = Sequential()
    model.add(Dense(10240, input_dim=dim*frame_len))
    model.add(BatchNormalization())
    model.add(LeakyReLU(alpha=0.1))
    model.add(Dropout(0.1))

    model.add(Dense(5120))
    model.add(BatchNormalization())
    model.add(LeakyReLU(alpha=0.1))
    model.add(Dropout(0.1))

    model.add(Dense(2048))
    model.add(BatchNormalization())
    model.add(LeakyReLU(alpha=0.1))
    model.add(Dropout(0.1))

    model.add(Dense(2048))
    model.add(BatchNormalization())
    model.add(LeakyReLU(alpha=0.1))
    model.add(Dropout(0.1))

    model.add(Dense(dim))
    model.add(BatchNormalization())
    model.add(Activation('sigmoid'))
    return model

注意事项

frame_num，frame_sub，frame = mix_mag[k:k+frame_len] 相互关联，不对应的话就会报错

结束

今天先到这里，过几天再补充，大家有什么问题，可以相互交流