Cheaptrick算法

已于 2023-08-09 16:23:00 修改
阅读量530 收藏
点赞数
分类专栏： 信号处理 语音基础知识 文章标签： 算法 音频
于 2023-04-11 21:50:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36002089/article/details/130089780
版权

Cheaptrick，a spectral envelope estimator for high-qualityspeech synthesis

转载请注明出处！

2015年Morise发表在SPEECH COMMUNICATION期刊上的一篇文章。

该算法目的是获得一个准确的、时间稳定的谱包络，采用基频(F0)，由F0自适应加窗、功率谱平滑和频率域频谱恢复三部分组成。

引言

一些估计算法，如倒谱(Noll, 1964;Oppenheim, 1969)和线性预测编码(LPC) (Atal和Hanauer, 1969)及许多改进的算法，如离散全极建模(El-Jaroudi和Makhoul,1991)，加权最大似然自回归和移动平均建模(Badeau和David, 2009)，以及惩罚似然方法(Campedel-Oudot等人，2001)。但是这些算法合成的语音音质比使用PSOLA等基于波形的合成方法要差，很难实现高质量的语音转换。
STRAIGHT (Kawahara et al.1999)被认为是一种有效的高质量语音合成框架。为了在保持音质的同时减少计算成本，提出了TANDEM_STRAIGHT，在庞大的数据库可实现实时应用(Morise et al.， 2009)和统计分析。

待解决问题

根据STRAIGHT的思想，浊音包含F0、谱包络和非周期性信息。为了简化讨论，我们只处理固定的F0和谱包络，而忽略非周期性。要求从语音波形中获得精确的频谱包络，而不考虑加窗的时间位置。
在这里插入图片描述
*表示卷积，T0是基音周期，w0是基本角频率（=2Π/T0）。
谱恢复还需要补偿离散化的影响。由于加窗波形的功率谱依赖于窗函数的时间位置，因此也需要去除这种影响(本文中的时变分量)。
传统算法除了STRAIGHT算法和TANDEM-STRAIGHT，在估计性能上不能满足这两个要求，并且不能去除时变分量。本文介绍了一种算法
它在客观上和主观上都优于传统算法。CheapTrick的名字来源于它基于f0自适应窗口和倒谱方法等传统算法的cheap和trick的设计。

Cheaptrick算法

CheapTrick由三个步骤组成:f0自适应窗口，平滑功率谱，以及平滑和频谱恢复的提升处理。

第一步：计算F0自适应功率谱

第一步是在基音同步分析的理想基础上设计窗口函数(Mathews et al.， 1961)。

（1）分帧加窗
分帧：语音分帧的时候不再以传统的定长帧为单位，而是以f0对应的周期为单位，以保证波形和频谱的平滑连续。（自适应）
加窗：采用长度为3T0的汉宁窗。以当前时间点为中心，左右各取1.5T0长度的语音。

在这里插入图片描述
清音没有基频，一般使用一个适当的常数。

窗口在ω0 Hz处的功率比主瓣的功率(0 Hz)低30 dB，这表明在30 dB以下谐波结构对邻近结构有影响。由于实际语音包含时间波动、非周期性和噪声，我们假设30 dB足够小。

waveform = GetWindowedWaveform(x, fs, current_f0, current_position);

function waveform = GetWindowedWaveform(x, fs, current_f0, current_position)
%  prepare internal variables
half_window_length = round(1.5 * fs / current_f0);%1169=round(1.5 * 88200 / 113.21)
base_index = (-half_window_length : half_window_length)';%2339*1 = (-1169 : 1169)'
index = round(current_position * fs + 0.001) + 1 + base_index;%2339*1 = round(0*88200+0.001)+1+2339*1(所有值全加1)
safe_index = min(length(x), max(1, round(index)));% 只取2339*1？ 

%  wave segments and set of windows preparation
segment = x(safe_index);
time_axis = base_index / fs / 1.5;
window = 0.5 * cos(pi * time_axis * current_f0) + 0.5;
window = window / sqrt(sum(window .^ 2));
waveform = segment .* window - window * mean(segment .* window) / mean(window);

周期信号y(t)经过加窗w(t)，计算功率谱：

在这里插入图片描述
T0是基音周期。该方程表明，一个窗内的周期信号的总功率是时间稳定的。

power_spectrum = GetPowerSpectrum(waveform, fs, fft_size, current_f0);

function power_spectrum = GetPowerSpectrum(waveform, fs, fft_size, f0)
power_spectrum = abs(fft(waveform(:), fft_size)) .^ 2;
% DC correction
frequency_axis = (0 : fft_size - 1)' / fft_size * fs;
low_frequency_axis = frequency_axis(frequency_axis <  f0 + fs / fft_size);
low_frequency_replica = interp1(f0 - low_frequency_axis,...
  power_spectrum(frequency_axis < f0 + fs / fft_size),...
  low_frequency_axis(:), 'linear', 'extrap');
power_spectrum(frequency_axis < f0) =...
  low_frequency_replica(frequency_axis < f0) +...
  power_spectrum(frequency_axis < f0);
power_spectrum(end : -1 : fft_size / 2 + 2) = power_spectrum(2 : fft_size / 2);

第二步：功率谱平滑

对于加窗以后的时域信号进行FFT获得对应的功率谱P(ω)，由于后面第三步需要对功率谱取log操作，所以需要保证功率谱没有零值。

通过一个矩形窗进行简单滤波来实现平滑：
在这里插入图片描述
P(ω)是加汉宁窗的功率谱。由于矩形窗宽为2ω0/3，这一步确保了与第一步一样相邻结构之间的影响小于30db。

smoothed_spectrum = LinearSmoothing(power_spectrum, current_f0, fs, fft_size);

function smoothed_spectrum = LinearSmoothing(power_spectrum, f0, fs, fft_size)
double_frequency_axis = (0 : 2 * fft_size - 1)' / fft_size * fs - fs;
double_spectrum = [power_spectrum; power_spectrum];

double_segment = cumsum(double_spectrum * (fs / fft_size));
center_frequency = (0 : fft_size / 2)' / fft_size * fs;
low_levels = interp1H(double_frequency_axis + fs / fft_size / 2,...
  double_segment, center_frequency - f0 / 3);
high_levels = interp1H(double_frequency_axis + fs / fft_size / 2,...
  double_segment, center_frequency + f0 / 3);

smoothed_spectrum = (high_levels - low_levels) * 1.5 / f0;
smoothed_spectrum =...
  smoothed_spectrum + abs(randn(length(smoothed_spectrum), 1)) * eps;

第三步：倒频域提升

可以将功率谱看做是普通信号，求出信号的包络也就是找到信号的低频部分。

提升目的：去除离散化引起的频率波动。同时进行了光谱恢复。
时变分量是由周期脉冲卷积和加窗引起的。

时域：周期为T0的周期脉冲
频域：谱是周期为ω0的周期脉冲
倒谱：也是倒频率域内周期为T0的周期脉冲，如下图
在这里插入图片描述
为了明确计算nT0处的时变分量，信号的采样频率为65536 Hz, F0为128 Hz, FFT长度为65,536，信号长度为1 s，帧移长度为一个样本。
为了去除时变分量和提取低定量分量，采用sinc函数作为提升函数。
谱恢复基于一致采样理论(Unser, 2000)。一致采样理论是采样理论的扩展，要求AD转换后的数字信号必须等于AD/DA/AD转换后的数字信号。这种采样使线性滤波器的设计能够满足这一要求。
在一致性采样的基础上，设计了提升功能作为补偿滤波器。该函数可以补偿nω0 Hz处的误差，这些误差是由第二步和第三步平滑引起的。

TANDEM-STRAIGHT的频域上进行了基于一致采样的谱恢复(Kawahara et al.， 2008)：
在这里插入图片描述
本文的提升恢复谱计算方法如下：

  • 首先对上一步求出来的功率谱做反傅里叶变换
    在这里插入图片描述

  • 过滤得到信号的低频部分
    在这里插入图片描述
    sinc函数第一个作用，相当于一个低通滤波器；第二个作用，它在nT0 点对应的幅值为0，相当于清除了原始周期脉冲串δ的影响。

  • 谱恢复
    两个参数的经验值是1.18和-0.09。目的是为了消除前面平滑带来的畸变。
    在这里插入图片描述

  • 获取最后的频谱包络
    在这里插入图片描述

原文公式：
在这里插入图片描述
频域矩形窗，该窗在图2所示的quefency域的nT0处为零。
试错实验，得到q0=1.18, q1=-0.09。

在这里插入图片描述
每个处理都是在离散时频表示上进行的。Pl(k,n)，其中k表示离散频率索引，n表示帧数。

spectral_envelope = SmoothingWithRecovery(...
  [smoothed_spectrum; smoothed_spectrum(end - 1 : -1 : 2)], current_f0, fs,...
  fft_size, q1);


function spectral_envelope =...
  SmoothingWithRecovery(smoothed_spectrum, f0, fs, fft_size, q1)
quefrency_axis = (0 : fft_size - 1)' / fs;
smoothing_lifter = sin(pi * f0 * quefrency_axis) ./ (pi * f0 * quefrency_axis);
smoothing_lifter(fft_size / 2 + 2 : end) =...
  smoothing_lifter(fft_size / 2 : -1 : 2);
smoothing_lifter(1) = 1;

compensation_lifter =...
  (1 - 2 * q1) + 2 * q1 * cos(2 * pi * quefrency_axis * f0);
compensation_lifter(fft_size / 2 + 2 : end) =...
  compensation_lifter(fft_size / 2 : -1 : 2);
tandem_cepstrum = fft(log(smoothed_spectrum));
tmp_spectral_envelope =...
  exp(real(ifft(tandem_cepstrum .* smoothing_lifter .* compensation_lifter)));
spectral_envelope = tmp_spectral_envelope(1 : fft_size / 2 + 1);

参考文献
[1].Spectral Envelopes in Sound Analysis and Synthesis
[2].CheapTrick, a spectral envelope estimator for high-quality speech synthesis

BarbaraChow
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
粒子群算法
12-02
粒子群算法：java和matlab实现
激光 SLAM 算法
04-18
激光 SLAM 算法 源码，开源代码，激光 SLAM 算法 源码，开源代码，
JAVA近百种算法大全
05-29
最近找到的JAVA近百种算法大全 分享一下 java算法大全,有近100多种常见算法的源代码,是学习JAVA算法的难得资料，需要的童鞋来下载吧！
steger算法
12-06
这是用matlab编写的结构光光条提取，并且有自己的改进策略，里面还有我对结构光条提取的详尽的分析
语音合成vocoder（一） 概况
xmdxcsj的专栏
05-17 1万+
Question1: vocoder在合成中的角色？？？ 合成概况语音合成主要有波形拼接和参数合成两种方法[1]。波形拼接方法 使用原始语音波形替代参数，合成的语音清晰自然，质量相比于参数合成方法要好。PSOLA（pitch synchronous overlap add）算法可以对拼接单元的韵律特征进行调整。参数合成方法提取参数->HMM建模->合成参数->波形重建 合成中的vocoder
开源的语音合成系统WORLD介绍以及使用方法
huashui2009120的博客
07-09 6873
WORLD是一个基于C语言的开源语音合成系统，语音合成主要包括波形拼接和参数合成两种方法，WORLD是一种基于vocoder的参数合成方法，它相比于STRAIGHT的优势是减少了计算复杂度，并且可以应用于实时的语音合成。由于STRAIGHT不是开源的系统，并且在WORLD论文中已经对比了WORLD相比于STRAIGHT无论是在合成的音频质量上还是合成速度上都处于领先优势，所以这里我不准备介绍STR...
详解WORLD声码器
Barbara‘s Blog
11-12 5310
声码器（英语：Vocoder，发音： /ˈvoʊkoʊdər/），源自人声编码器（英语：voice encoder）的缩写，又称语音信号分析合成系统，对声音进行分析与合成的系统，主要应用于合成人类语音。Analysis分析、Manipulation操作与Synthesis合成。Analysis分析过程主要是指从一段原始声音波形中提取声学特征如线性谱、低频、MFCC；Manipulation操作过程是指对提取出的原始声学特征进行压缩等降维处理，使其表征能力进一步提升；
WORLD声码器:A Vocoder-Based High-Quality Speech Synthesis System for Real-Time Applications
林宋的搬砖流水账
03-28 6147
abstract  可以实现实时、高质量的语音合成。比传统的系统速度快10倍以上，RTF(real time factor)表明它可以应用于实时系统。 1. introduction  两个要求： 高质量 实时性  高质量的语音合成系统包括基频F0和谱包络估计算法，以及参数估计的合成算法。之前的研究：STRAIGHT可以合成高质量的语音，对语音很容易进行操作。为了满足实时性，提出简化版–Rea...
语音合成系统WORLD-原理和简单使用
SoundSlow的博客
09-25 8306
最近在做语音合成相关的一个东西，其中后期需要做一个声音转换系统，但是真正的声音转换系统还挺复杂，因为我们的目的是希望能够将一个声音完全地变为另一个已知的 WORLD通过获取三个语音信号相关的参数信息来合成原始语音，这三个参数信息分别是：基频F0、频谱包络、非周期信号参数（英文分别为：Fundamental Frequency、spectral envelope、aperiodic parame...
Ceres solver中几种常用算法介绍
stereohomology
01-26 1万+
http://homes.cs.washington.edu/~sagarwal/ceres-solver/stable/solving.html Solving Introduction Effective use of Ceres requires some familiarity with the basic components of a nonlinear leas
程序员算法大全
05-04
程序员算法大全
语音合成vocoder（三） spectral envelope参数
xmdxcsj的专栏
05-17 6211
基本概念[1] spectral envelope的三个性质： - 包络线连接峰值，并且紧紧包裹幅度谱 - 包络线不能震荡太剧烈，需要平滑 - 包络线不能有corner语音信号可以模拟为激励脉冲序列与声道冲激响应的离散卷积，对于浊音信号 y(t)y(t)可以简化为基音周期为T0T_0脉冲串δ\delta和声道冲激响应h(t)h(t)的卷积： y(t)=h(t)∗∑n=−∞∞δ(t−nT0)
语音转换之CycleGan-VC2：原理与实战
Barbara‘s Blog
12-30 3402
非平行语音转换CycleGAN
（超详细）语音信号处理之特征提取
热门推荐
Barbara‘s Blog
09-14 2万+
语音信号处理之特征提取要对语音信号进行分析，首先要分析并提取出可表示该语音本质的特征参数。有了特征参数才能利用这些特征参数进行有效的处理。根据提取参数的方法不同，可将语音信号分析分为时域，频域，倒频域，和其他域的分析方法。根据分析方法的不同，可将语音信号分析分为模型分析方法和非模型分析方法。本文主要以第一种分类方法。时域分析方法简单，计算量小，物理意义明确，但由于语音信号最最重要的感知特性在功率谱中，而人耳对相位变化并不敏感，所以频域分析更为重要。通过最基本的特征，后面针对不同的任务演变出了各种特征。
梅尔倒谱系数MFCC由浅入深（超详细）
Barbara‘s Blog
08-31 1万+
MFCC梅尔倒谱系数（Mel-scale Frequency Cepstral Coefficients） 在语音识别（Speech Recognition）和话者识别（Speaker Recognition）方面，最常用到的语音特征就是梅尔倒谱系数（Mel-scale Frequency Cepstral Coefficients，简称MFCC）。根据人耳听觉机理的研究发现，人耳对不同频率的声波有不同的听觉敏感度。从200Hz到5000Hz的语音信号对语音的清晰度影响对大。两个响度不等的声音作用于人耳时，
python实现时频谱，语谱图，mel语谱倒谱等
Barbara‘s Blog
03-30 1万+
python实现时频谱，语谱图，mel语谱倒谱等 可以和理论相结合学习：https://blog.csdn.net/qq_36002089/article/details/108378796 语音信号是一个非平稳的时变信号，但语音信号是由声门的激励脉冲通过声道形成的，经过声道(人的三腔，咽口鼻)的调制，最后由口唇辐射而出。认为“短时间”(帧长/窗长：10~30ms)内语音信号是平稳时不变的。由此构成了语音信号的“短时分析技术”。帧移一般为帧长一半或1/4。 1. 导入所需库，加载语音，定义参数 import
通俗易懂声学基础
Barbara‘s Blog
07-04 4579
声音是由振动产生的，当物体振动时，会引起周围空气的波动，导致空气粒子间的距离发生疏密的变化，从而引发空气压强的变化，这种变化会传到人的耳膜，再传到人的大脑，人就听到声音了。 物理上，声音有四个基本特性：音色、音强、音高、音长。声波是由物体振动产生的，当物体振动时，会引起周围空气的波动，这就是声波。最简单的声波就是正弦波，正弦波发出的声音叫纯音。但日常生活中我们听到的大多不是纯音，而是复合音，也就是多个正弦波的叠加（不同频率和振幅）。声波每秒在空气中传播的距离，单位m/s。声速c受传播介质和温度的影响，常温常
Matlab发声函数sound问题
Barbara‘s Blog
01-19 4356
今天发现个奇怪的事，用sound出来很奇怪的声音。感觉代码没问题啊，后面才发现问题出在采样率上。下面首先看看sound函数具体用法。
基频检测算法详细总结
Barbara‘s Blog
03-01 3633
基音频率是语音信号的最重要的特征参数之一，基频的复杂之处在于不同的人发出的语音基频可能不同，同一个人说不同的字词时基频可能不同，同一个人在不同的时间说相同的字词时基频也可能不同。通常，基频与发音人声带的长短、薄厚、韧性、劲度和发音习惯等有关系，在很大程度上代表了个人的特征。此外，基频还随着人的性别、年龄不同而有所不同。基频也受说话人情绪，习惯，环境等的影响。一般来说，男性说话者的基音频率较低，而女性说话者和小孩的基音频率相对较高。可见，基频是随发音人、发音内容、发音时间等因素动态变化的。
dsp算法 混音算法
最新发布
08-27
DSP算法是数字信号处理算法的简称，是一种基于数学和电子工程的处理技术。它利用计算机和数字信号处理器来处理和改善各种信号，如音频、图像、视频等。DSP算法在很多领域发挥着重要作用，包括通信、音频处理、图像...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值