- 博客(12)
- 收藏
- 关注
原创 语音合成中声学模型在可控性上的努力
在语音合成中,音素序列和对应的声学参数序列遵循着单调性原则,也就是说,在生成语音时音素和声学参数都是同步向前的。该文提出了一种适用于该情形的注意力机制,在每一个解码步上对注意力权重添加单调性条件。在每个时间步上,通过前向算法递归地计算注意力权重,于此同时,提出了一种转移代理机制,在每个解码步上帮助注意力机制决策是向前前进一个“音素”,还是停留在原地。该文同样是利用语音合成的单调特性,强制输入输出之间不仅仅单调,而且不能跳过输入的每一个时间步。软性注意力可以用来消除训练和推断之间的不一致性。
2024-08-09 10:36:00
990
原创 声学理论基础---梳状滤波效应(三)
换句话说,0.5ms 延时所产生的梳状滤波峰值(如 10-7A 所示宽度大于人耳在1000Hz处的临界带宽,从而产生了可感受到它的变化。以上这两种声音的音色,基本上是相同的。这似乎验证了在大空间(有着较长延时)当中,所产生的梳状滤波不会被人耳觉察到的事实,而梳状滤波对小空间(有着较短的延时)的影响是很大的。而一个峰值频率间隔为128Hz的梳状滤波器,所对应的延时约为8ms,1/0.008=125HZ,它所对应直达声与反射声之间的路程差约为9英尺(1130英尺/X0.008s=9.0英尺)]。
2024-05-21 16:02:19
916
原创 声学理论基础---梳状滤波效应(二)
与此相反,在较大的空间当中,反射声将会有更长的延时,会使梳状滤波作用产生间隔更加紧密的峰值和结点。(B)把话筒放置在距离反射表面0.7 英寸的地方,产生了0.1m 的延时,同时直达声和反射声的叠加显示出在 5KHz和15kHz 处的结点。如果延时t是以s 来计量的,那么第1个结点位置在 1/(2t)处,且2个结点之间的间隔或者2个峰值之间的间隔为 1/t。话筒的输出,显示出0.1ms延时的梳状滤波特征。第一个峰值发生在ƒ=1/t的位置,同时连续的峰值发生在ƒ=n/t,其中n=1,2,3,4,5.....。
2024-05-21 15:59:28
794
原创 声学理论基础---梳状滤波效应(一)
如果存在第二个 100HZ的单音,其压力大小与上一个 100Hz 相同,只是相位相差180°,那么这两个信号同时作用在话筒振膜处,将会产生声学抵消现象,也就是说话筒的输出电压为零。当把e叠加到e3当中时(延时1ms,相移180°),由于这两个波形的幅度和频率一致,且相位相差180°,其波形会被完全抵消,幅度为零。因为信号A和B是500Hz的正弦信号,它们从正的峰值变化到负峰值的次数为500/s。当把信号A和B的正弦波进行叠加时(对应各自的正负值 ),它们会在相同频率处产生一个新的幅度,从而形成新的正弦波。
2024-05-21 15:47:04
944
原创 声学理论基础---什么是声波
当物体振动时,振动会使周围介质的分子也产生振动,分子之间的相互作用将能量传递给下一个分子,从而使声波传播。当物体振动时,它的分子会产生压缩和稀疏的周期变化,进而形成了声波。衍射的程度取决于声波的波长和障碍物的大小。声波是一种由物体振动产生的机械波,通过介质传播的能量传递方式。- 频率:声波的频率指的是波的周期性振动的次数,单位为赫兹(Hz)。- 音乐和娱乐:声波是音乐、电影和电视的基础,人们通过听觉感受声波传达的信息和情感。总之,声波是一种由物体振动产生的机械波,通过介质传播的能量传递方式。
2024-04-19 14:36:03
493
1
原创 音频质量评估方法—无参考MOS分评估
总体来看,针对音频质量评分主要为采集到听众的端到端评价方式,有些系统可能会涉及到多个维度(如响度、噪音等),但暂无针对网络传输模块的评估;仅从评价指标来看,基于参数的无参评估方法是可靠的。相对误差(MAE、RMSE,数值越低越好)和相关系数(PCC,数值越高越好)均比基于音频的无参评估性能要好,基于参数的无参评估PCC ->0.89而conference speech 2022中基于音频的无参评估排名第一的队伍LCN为 PCC -> 0.81, RMSE -> 0.34;
2024-01-10 10:06:51
2447
1
原创 Acoustic---了解麦克风灵敏度
然而,数字麦克风的灵敏度和输出电平却表示为峰值电平,因为它们是以满量程数字字(即峰值)为参考的。例如,ADMP421,提供脉冲密度调制(PDM)数字输出的MEMS麦克风 的灵敏度为–26 一个 94 dB SPL 正弦输入信号将产生–26 dBFS的 峰值输出电平,或–29 dBFS的均方根电平。一种麦克风可能为模拟电压输出,另一种为调制PDM输出,还一种为I2S输出,但它们的最大声学输入与信噪比(SNR,即94 dB SPL参考电平与噪声电平之差)却是可以直接比较的。模拟麦克风的灵敏度很简单,不难理解。
2023-12-26 17:01:49
1108
1
原创 Acoustic---声压级和声功率级
电子设备的噪音是规格中很重要的一个参数,制定这个参数的主要目的就是优化工作环境,降低使用者的听力损失和劳动事故,密西根大学职业健康护理计划进行的一项研究发现,工作场所的长期噪音会导致血压和心率升高,根据美国疾病控制和预防中心的数据,心脏病是男性和女性死亡的主要原因,此外过多的噪音会影响人的情绪和心理健康,使他们更加喜怒无常甚至抑郁,尽可能降工作和生活场所的噪音降低有助于提高人的健康水平。声压级(SPL)取决于距离、声源的位置和环境,即有无底面的反射,是否在房间内部,还有房间的体积和声音残留的时间。
2023-12-25 10:27:05
2456
原创 麦克风的动态范围、电源抑制比以及频率响应
麦克风的SNR衡量噪底与94 dB SPL的参考水平之差,但在该参考水平以上,麦克风仍然有相当大的有用信号响应范围。图2显示了数字麦克风的dB SPL输入与dBFS输出之间的类似关系。这是由灵敏度的定义(在94 dB SPL下测量)所决定的,而不是可以通过改变麦克风ASIC的增益进行调整的设计参数。对于ADI公司的MEMS麦克风,低频-3 dB点以下的低频滚降为一阶(6 dB/8倍频程或20 dB/10倍频程),高频-3 dB点以上的高频滚降为二阶(-12 dB/8倍频程或-40 dB/10倍频程)。
2023-12-22 15:50:00
1552
原创 Acoustic---如何理解“音量”和“响度”?
当然,人类对响度的感知并不只跟频率和声压级相关,时长同样会带来重要的影响。”这个单位其实是一种相对的概念,即它并不能像描述频率的“赫兹(Hz)”、描述质量的“克(g)”、描述长度的“米(m)”那样给出一个客观的量,而只能给出两个相同物理量的比值。事实上,“音量”的概念本来确实应该是一个客观的量,但大家仔细想想就会发现,我们在生活中描述音量和响度的时候,绝大多数情况下都是用的“大”或“小”这样的。也就是说,“音量”和“响度”的概念,在现实生活或者模拟信号的领域中是主观的,而在数字信号的领域中则是“客观”的。
2023-12-19 16:41:57
1270
1
原创 Acoustic---响度、响度级和尖锐度
声音的尖锐度描述的是与声音的频率成分有关但与声音的响度无关的感觉。这里说的声音品质指的是人们听到声音后舒服或不舒服的整体感觉,或者对发出这种声音的设备的声学品质以外的质量的感觉,例如对引擎的功率、结构的稳定性的感觉等等。下图是个以1 kHz为主的声音的响度、响度级、尖锐度测量例子,可图可见,其声级为60dBA,响度为4.35 sone, 响度级为61.2 phon, 尖锐度为1.16 ACUM。声音品质分析的算法非常复杂,稳态的要考虑人耳的邻近频带的掩蔽效应,非稳态的还要考虑时间上的掩蔽效应。
2023-12-15 09:38:08
1420
原创 音频测量常见的校准
步骤是首先标定(测量)麦克风灵敏度,或者说测量麦克风在1khz 94dB SPL正弦波的输出电压有效值(例如1khz 94dB SPL=10mVrms,1Pa=10mVrms,10mV/Pa),保存灵敏度标定数据;如果软件显示2Vrms,那么就得到了输入灵敏度标定数据6dB,保存标定数据。在未来,如果把标定数据导入测量软件,然后给声卡输入一个1vrms的正弦波,软件会显示1Vrms(原理是1Vrms=2Vrms-6dB),这就是ADC校准的方法:标定灵敏度,保存标定数据,导入标定数据,软件完成灵敏度校准。
2023-11-14 16:53:30
390
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人