语音端点检测之相关法、谱熵法、比例法（python版）

最新推荐文章于 2024-09-16 17:40:18 发布
最新推荐文章于 2024-09-16 17:40:18 发布
阅读量2.7k 收藏 28
点赞数 5
文章标签： python 数学建模 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67403773/article/details/130872892
版权
文章介绍了语音端点检测的四种方法：双门限法、自相关函数最大值法、谱熵法和比例法。自相关法利用信号的周期性差异来识别语音；谱熵法通过分析信号的谱熵特性来区分语音和噪声；比例法则关注能零比和能熵比。这些方法都在Python中实现，用于识别语音信号的开始和结束点。
摘要由CSDN通过智能技术生成

一、相关法

1、短时自相关 

自相关函数具有一些性质，如它是偶函数；假设序列具有周期性，则其自相关函数也是同周期的周期函数等。对于浊音语音可以用自相关函数求出语音波形序列的基音周期。此外， 在进行语音信号的线性预测分析时，也要用到自相关函数

 2、自相关函数最大值法

 

 

图   4‐2 和图  4‐3 分别是噪声信号和含噪语音的自相关函数。从图可知，两种信号的自 相关函数存在极大的差异，因此可利用这种差别来提取语音端点。根据噪声的情况，设置两个阈值 T1 和 T2 ，当相关函数最大值大于 T2 时，便判定是语音；当相关函数最大值大于或小于 T1 时，则判定为语音信号的端点。
3.代码运行 
from speechlib import *
(fs, data) = wavfile.read('C4_1_y.wav')

data = data - np.mean(data)
data = data / np.max(data)
IS = 0.25
wlen = 200
inc = 80
N = len(data)
time = [i / fs for i in range(N)]
wnd = np.hamming(wlen)  #使用汉明窗
NIS = int((IS * fs - wlen) // inc + 1)
thr1 = 1.1
thr2 = 1.3
voiceseg, vsl, SF, NF, Rum = vad_corr(data, wnd, inc, NIS, thr1, thr2)

fn = len(SF)
frameTime = FrameTimeC(fn, wlen, inc, fs)

plt.subplot(2, 1, 1)
plt.plot(time, data)
plt.title('纯语音波形')
plt.ylabel('幅值')

plt.subplot(2, 1, 2)
plt.plot(frameTime, Rum)
plt.title('短时自相关函数')
plt.xlabel('时间/s')
plt.ylabel('幅值')

for i in range(vsl):
    nx1=voiceseg[i]['start']
    nx2=voiceseg[i]['end']
    plt.subplot(2, 1, 1)
    plt.axvline(frameTime[nx1], np.min(data), np.max(data), color='blue', linestyle='--')
    plt.axvline(frameTime[nx2], np.min(data), np.max(data), color='red', linestyle='-')
    plt.legend(['波形', '起点', '终点'])

    plt.subplot(2, 1, 2)
    plt.axvline(frameTime[nx1], np.min(Rum), np.max(Rum), color='blue', linestyle='--')
    plt.axvline(frameTime[nx2], np.min(Rum), np.max(Rum), color='red', linestyle='-')
    plt.legend(['短时自相关', '起点', '终点'])

plt.show()

核心代码解释： 

名称：vad_corr 
功能：用自相关函数最大值法进行端点检测。
调用格式：[voiceseg,vsl,SF,NF,Rum]=vad_corr(x,wnd,inc,NIS,th1,th2) 
说明：输入参数 x 是输入的语音数据；wnd 是窗函数或窗长；inc 是帧移；th1 是端点检
测阈值；th2 是语音检测阈值；NIS 是无声段的帧数，用来计算阈值。输出参数 voiceseg 是
一个数据结构，记录了语音端点的信息；vsl 是 voiceseg 的长度；SF 是语音帧标志（SF=1 表
示该帧是语音段）；NF 是噪声/无声帧标志（NF=1 表示该帧是噪声/无声段）；Rum 是返回的
短时自相关序列的最大值。

 

 

 二、谱熵法

 还是理论（不想写）

1.谱熵特征

（1）语音信号的谱熵不同于噪声信号的谱熵。   

（2）理论上,如果谱的分布保持不变,语音信号幅值的大小不会影响归一化。但实际上,

语音谱熵随语音随机性而变化，与能量特征相比,谱熵的变化是很小的。

（3）在某种程度上讲，谱熵对噪声具有一定的稳健性，在相同的语音信号当信噪比降

低时，语音信号的谱熵值的形状大体保持不变，这说明谱熵是一个比较稳健性的特征参数。

（4）语音谱熵只与语音信号的随机性有关，而与语音信号的幅度无关，理论上认为只

要语音信号的分布不发生变化，那么语音谱熵不会受到语音幅度的影响。另外，由于每个频

率分量在求其概率密度函数的时侯都经过了归一化处理，所以从这一方面也证明了语音信号

的谱熵只会与语音分布有关，而不会与幅度大小有关。

2.谱熵检测大致思路

（1）首先对语音信号进行分帧加窗、取 FFT 变换的点数；

（2）计算出每一帧的谱的能量；

（3）计算出每一帧中每个样本点的概率密度函数；

（4）计算出每一帧的谱熵值；

（5）设置判决门限；

（6）根据各帧的谱熵值进行端点检测。

from speechlib import *

(fs, data) = wavfile.read('C4_1_y.wav')
data = data - np.mean(data)
data = data / np.max(data)
IS = 0.25
wlen = 200
inc = 80
N = len(data)
time = [i / fs for i in range(N)]
wnd = np.hamming(wlen)
overlap = wlen - inc
NIS = int((IS * fs - wlen) // inc + 1)
thr1 = 0.99
thr2 = 0.96
voiceseg, vsl, SF, NF, Enm = vad_specEN(data, wnd, inc, NIS, thr1, thr2, fs)

fn = len(SF)
frameTime = FrameTimeC(fn, wlen, inc, fs)

plt.subplot(2, 1, 1)
plt.plot(time, data)
plt.title('纯语音波形')
plt.ylabel('幅值')

plt.subplot(2, 1, 2)
plt.plot(frameTime, Enm)
plt.title('短时谱熵')
plt.xlabel('时间/s')
plt.ylabel('幅值')

for i in range(vsl):
    nx1=voiceseg[i]['start']
    nx2=voiceseg[i]['end']
    plt.subplot(2, 1, 1)
    plt.axvline(frameTime[nx1], np.min(data), np.max(data), color='blue', linestyle='--')
    plt.axvline(frameTime[nx2], np.min(data), np.max(data), color='red', linestyle='-')
    plt.legend(['波形', '起点', '终点'])

    plt.subplot(2, 1, 2)
    plt.axvline(frameTime[nx1], np.min(Enm), np.max(Enm), color='blue', linestyle='--')
    plt.axvline(frameTime[nx2], np.min(Enm), np.max(Enm), color='red', linestyle='-')
    plt.legend(['短时谱熵', '起点', '终点'])

plt.show()

核心代码解释

名称：vad_specEn 
功能：用谱熵法进行端点检测。
调用格式：[voiceseg,vsl,SF,NF,Enm]=vad_specEn(x,wnd,inc,NIS,th1,th2,fs) 
说明：输入参数 x 是输入的语音数据；wnd 是窗函数或窗长；inc 是帧移；th1 是端点检
测阈值；th2 是语音检测阈值；NIS 是无声段的帧数，用来计算阈值；fs 是采样频率。输出参
数 voiceseg 是一个数据结构，记录了语音端点的信息；vsl 是 voiceseg 的长度；SF 是语音帧
标志（SF=1 表示该帧是语音段）；NF 是噪声/无声帧标志（NF=1 表示该帧是噪声/无声段）；
Enm 是计算的谱熵

 结果

 

 三、比例法

from speechlib import *

(fs, data) = wavfile.read('C4_1_y.wav')
data = data - np.mean(data)
data = data / np.max(data)
IS = 0.25
wlen = 200
inc = 80
N = len(data)
time = [i / fs for i in range(N)]
wnd = np.hamming(wlen)
overlap = wlen - inc
NIS = int((IS * fs - wlen) // inc + 1)

mode = 1
if mode == 1:
    thr1 = 3
    thr2 = 4
    tlabel = '能零比'
elif mode == 2:
    thr1 = 0.05
    thr2 = 0.1
    tlabel = '能熵比'
voiceseg, vsl, SF, NF, Epara = vad_pro(data, wnd, inc, NIS, thr1, thr2, mode)

fn = len(SF)
frameTime = FrameTimeC(fn, wlen, inc, fs)

plt.subplot(2, 1, 1)
plt.plot(time, data)
plt.title('纯语音波形')
plt.ylabel('幅值')

plt.subplot(2, 1, 2)
plt.plot(frameTime, Epara)
plt.title(tlabel)
plt.xlabel('时间/s')
plt.ylabel('幅值')

for i in range(vsl):
    nx1=voiceseg[i]['start']
    nx2=voiceseg[i]['end']
    plt.subplot(2, 1, 1)
    plt.axvline(frameTime[nx1], np.min(data), np.max(data), color='blue', linestyle='--')
    plt.axvline(frameTime[nx2], np.min(data), np.max(data), color='red', linestyle='-')
    plt.legend(['波形', '起点', '终点'])

    plt.subplot(2, 1, 2)
    plt.axvline(frameTime[nx1], np.min(Epara), 1.0, color='blue', linestyle='--')
    plt.axvline(frameTime[nx2], np.min(Epara), 1.0, color='red', linestyle='-')
    plt.legend([tlabel, '起点', '终点'])

plt.show()

 

名称：vad_pro 
功能：用比例法进行端点检测。
调用格式：[voiceseg,vsl,SF,NF,Epara]=vad_pro(x,wnd,inc,NIS,th1,th2,mode);
说明：输入参数 x 是输入的语音数据；wnd 是窗函数或窗长；inc 是帧移；th1 是端点检
测阈值；th2 是语音检测阈值；NIS 是无声段的帧数，用来计算阈值；mode 是算法模式，1
代表能零比，2 代表能熵比。输出参数 voiceseg 是一个数据结构，记录了语音端点的信息；
vsl 是 voiceseg 的长度；SF 是语音帧标志（SF=1 表示该帧是语音段）；NF 是噪声/无声帧标志
（NF=1 表示该帧是噪声/无声段）；Epara 是计算的能零比或能熵比。

 

 四、总结

语音端点检测一共介绍了4种，双门限法、相关法、谱熵法、比例法

双门限法：(10条消息) 语音端点检测之双门限法（python版）_X在敲AI代码的博客-CSDN博客 

核心参数部分：

1.双门限法
名称：vad_TwoThr 
功能：用双门限法进行端点检测。
调用格式：[voiceseg,vsl,SF,NF,amp,zcr]=vad_TwoThr(x,wlen,inc,NIS) 

2.相关法
名称：vad_corr 
功能：用自相关函数最大值法进行端点检测。
调用格式：[voiceseg,vsl,SF,NF,Rum]=vad_corr(x,wnd,inc,NIS,th1,th2) 
Rum 是返回的短时自相关序列的最大值。

3.谱熵法：
名称：vad_specEn 
功能：用谱熵法进行端点检测。
调用格式：[voiceseg,vsl,SF,NF,Enm]=vad_specEn(x,wnd,inc,NIS,th1,th2,fs) 
Enm 是计算的谱熵

4.比例法：
名称：vad_pro 
功能：用比例法进行端点检测。
调用格式：[voiceseg,vsl,SF,NF,Epara]=vad_pro(x,wnd,inc,NIS,th1,th2,mode);
mode 是算法模式，1代表能零比，2 代表能熵比。 Epara 是计算的能零比或能熵比。


共同参数解释：输出参数 voiceseg 是一个数据结构，记录了语音端点的信息；
vsl 是 voiceseg 的长度；SF 是语音帧标志（SF=1 表示该帧是语音段）；NF 是噪声/无声帧标志

输入参数 x 是输入的语音数据；wnd 是窗函数或窗长；inc 是帧移；th1 是端点检
测阈值；th2 是语音检测阈值；NIS 是无声段的帧数，用来计算阈值；fs 是采样频率。

数据处理部分：

(fs, data) = wavfile.read('XXXXX.wav') #数据读入
data = data - np.mean(data) #np.mean 求平均数
data = data / np.max(data)
#数据归一化

语音端点检测
12-31
录制一段语音，然后进行语音的特征提取，准确地找出语音信号的起始点和结束点，其目的是是有效的语音信号和无用的噪声得以分离。
语音端点检测算法
12-30
语音端点检测算法，共有三种，matlab代码的
pushang.zip_端点检测_谱熵_谱熵法
07-15
谱熵法端点检测，通过修改后，可以调试了，有两个主程序pushang.m,pushang1.m
常见算法——自相关的含义及Python、C实现
最新发布
编程圈子-谢厂节的博客
09-16 1390
方法是计算水位数据的局部标准差，如果局部标准差过小，说明数据可能是常值或变化不大，从而跳过自相关计算。例如，若我们怀疑数据有周期性波动（如正弦波），我们会尝试多个滞后期，看看在哪个滞后期的自相关值最大，进而推测数据的周期。如果水位是周期性变化的，那么当前时刻的水位值与前几个时刻的水位值会有某种关联，这种关联就可以通过自相关来捕捉。在常见的分析中，滞后期可能从 1 开始增加，直到找到显著的自相关值或达到数据长度的一半。在计算自相关时，通常需要减去数据的均值，来去除掉整体趋势的影响，关注数据的波动。
pushangfa.zip_信号谱熵_熵 端点检测_谱熵_谱熵法
07-13
基于谱熵法的语音信号端点检测方法的matlab程序，可以用于语音信号的处理
基于MATLAB的语音端点检测仿真包括双门限法、短时改进子带谱熵等+含代码操作演示视频
05-24
基于MATLAB的语音端点检测仿真包括双门限法、短时改进子带谱熵等+含代码操作演示视频 运行注意事项：使用matlab2021a或者更高版本测试，运行里面的Runme.m文件，不要直接运行子函数文件。运行时注意matlab左侧的当前文件夹窗口必须是当前工程所在路径。具体可观看提供的操作录像视频跟着操作。
语音端点检测之双门限法（python版）
m0_67403773的博客
05-25 2366
1.短时能量设第n帧语音信号xnm的短时能量用En表示，则其计算公式如下：En是一个度量语音信号幅度值变化的函数，但它有一个缺陷，即它对高电平非常敏感（因为它计算时用的是信号的平方）。补充：短时能量的作用1、短时能量可以区分清音和浊音，因为浊音的能量要比清音的大得多；清音：释义是轻柔的声音；发音时声带不振动的音，如p、t、k （pa, te , ke)浊音：将发音时声带振动的音称为浊音，如b、d、g (ba, de, ge)2、对声音段和无声段进行判定；
语音信号的端点检测（VAD）
qq_46035929的博客
05-15 4007
基于短时能量和短时平均过零率的双门限端点检测，从包含语音的一段信号中准确地确定语音的起始点和终止点，区分语音和非语音信号，它是语音处理技术中的一个重要方面
语音处理/语音识别基础（六）- 语音的端点检测（EPD/VAD)
热门推荐
千里之行
02-24 2万+
「端点检测」（End-point Detection，简称 EPD）的目标是要找到音讯开始和结束的位置，所以又可以称为 Speech Detection 或是 VAD (Voice Activity Detection)。端点检测在音讯处理与识别中，扮演重要的角色，可以基于时域，或者基于频域来做 EPD。
语音信号端点检测(VC++6.0)
05-22
这是我的毕业设计“基于神经网络的拼音识别系统”的端点检测部分，使用短时能量和短时平均过零率检来检测端点，希望对大家有用。<br> 端点检测的函数是CWaveDoc::OnEndpointDetect() ，大家运行时需要修改读入语音信号的路径。<br>需要读入的语音信号b1.wav一并附于wav文件。<br>
【端点检测】基于倒谱距离算法实现语音信号端点检测附Matlab代码
qq_59747472的博客
04-24 1058
语音信号端点检测是指识别语音信号的起始和结束位置，将语音信号从非语音信号中分离出来。端点检测是语音识别、语音合成、语音编码等许多语音处理任务的关键步骤。传统的端点检测算法主要包括基于能量阈值、基于过零率、基于短时平均幅度差分等方法。这些方法通常需要设置多个阈值，对噪声和环境变化敏感，鲁棒性较差。近年来，基于倒谱距离算法的端点检测方法因其较高的鲁棒性和准确性而受到广泛关注。基于倒谱距离算法的端点检测方法是一种高效、鲁棒的语音信号端点检测方法。
Python-VoiceactivitydetectionVAD语音端点检测工具包
08-11
语音端点检测工具包，包括DNN，bDNN，LSTM和基于ACAM的VAD。 我们还提供我们直接记录的数据集。
详解python的webrtc库实现语音端点检测
09-21
主要介绍了详解python的webrtc库实现语音端点检测,小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
语音端点检测，语音激活检测，VAD
01-28
经典的双门限语音端点检测程序，内附两个声音文件。下载后可直接运行。
语音信号处理-端点检测
03-13
(1)掌握语音处理的基本概念，基本理论和基本方法； (2)掌握双门限法的原理； (3)学会利用短时能量和短时过零率对语音信号进行端点检测。
pushang.zip_端点_端点检测改进_语音端点检测_谱熵_谱熵法
07-13
在这个“pushang.zip”压缩包中，我们聚焦于一种特殊的端点检测方法——谱熵法的改进，特别是在多子带语音端点检测上的应用。这种技术对于提高语音处理的精度具有重要意义。 谱熵是一种衡量信号频谱分布不确定性的...
语音端点检测（voice activity detection，VAD）
chinabing的专栏
03-12 1万+
可以将一段语音片段分为 静音段、过度段、语音段、结束。 比较常用的VAD技术是基于短时能量和过零率的双门限端点检测。 1. 分别对短时能量和过零率设置两个门限值energy_low, energy_high和zcr_low, zcr_high energy_high > energy_low zcr_high > zcr_low 2. 计算一帧的短时能量enegry和过零率zcr 若e
双门限端点检测python代码
08-02
双门限端点检测是一种常用的信号处理算法，用于检测信号中的边界点。以下是一段用Python实现的双门限端点检测代码。 首先，我们需要导入必要的库： ```python import numpy as np import matplotlib.pyplot as plt ``` 然后，定义一个函数来实现双门限端点检测： ```python def double_threshold_detection(signal, low_threshold, high_threshold): low_indices = np.where(signal < low_threshold)[0] high_indices = np.where(signal > high_threshold)[0] start_indices = [low_indices[0]] end_indices = [] for i in range(1, len(low_indices)): if low_indices[i] - low_indices[i-1] > 1: start_indices.append(low_indices[i]) for i in range(0, len(high_indices)-1): if high_indices[i+1] - high_indices[i] > 1: end_indices.append(high_indices[i]) end_indices.append(high_indices[-1]) return start_indices, end_indices ``` 在这段代码中，我们指定了两个起始阈值：low_threshold和high_threshold。首先，我们使用np.where函数找到低于低阈值的索引和高于高阈值的索引。然后，我们根据低索引的连续性找到信号的起始位置，根据高索引的连续性找到信号的结束位置。最后，我们将起始位置和结束位置作为结果返回。 接下来，我们可以使用这段代码来检测一个示例信号的边界点： ```python # 定义一个示例信号 signal = np.array([1, 2, 3, 4, 3, 2, 1, 0, 1, 2, 3, 4, 5, 6, 5, 4, 3, 2]) # 调用双门限端点检测函数 start_indices, end_indices = double_threshold_detection(signal, 1, 4) # 绘制信号及检测结果 plt.plot(signal) plt.scatter(start_indices, [signal[i] for i in start_indices], color='r') plt.scatter(end_indices, [signal[i] for i in end_indices], color='g') plt.show() ``` 以上代码将绘制这段示例信号，并在检测到的起始位置处用红色圆点标记，结束位置处用绿色圆点标记。 这就是双门限端点检测的Python代码实现。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值