Audio-SE：开源语音增强（SE）模型

已于 2025-01-13 16:38:33 修改
阅读量136 收藏 1
点赞数
分类专栏： Audio 文章标签： SE
于 2025-01-13 16:38:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/145118928
版权
了解本专栏 订阅专栏 解锁全文 超级会员免费看
信号处理：时域和频域的关系
u013250861的博客
06-14 1万+
时域是指时间域，频域是指频率域。 时域和频域是信号的基本性质。1、时域（时间域）——自变量是时间,即横轴是时间,纵轴是信号的变化。其动态信号x（t）是描述信号在不同时刻取值的函数。 图1是正弦波的时域图，示出了振幅与时间的关系。 在时域图中，横轴是时间，纵轴是振幅。 时域图显示振幅随时间的变化，可以看出峰值振幅为5V，可以算出频率f=6 Hz。2、频域（频率域）——自变量是频率,即横轴是频率,纵轴是该频率信号的幅度,也就是通常说的频谱图。 图2是图1中正弦波的频域图在频域图中，横轴是频率，纵轴是峰值振幅
语音信号处理-基本概念（一）：音频长度（s）、采样率（Hz；如16000）、帧长（25ms）、帧数、帧移（12.5ms）、hop_size（每帧移动的样本点数=16000*12.5/1000=200）
u013250861的博客
08-29 7875
需要明白一点，mel帧数 * 帧移 = 音频长度（采样点个数，可换算为音频时长，具体怎么做不用说了吧）因此，对于22050采样率， hopsize大小设置为256， 那么对应的mel-spectrogram需要上采样 256倍如果是16000采样率呢？使用帧长是50ms,帧移 12.5ms 那么hop_size就是200（16000*12.5/1000=200）啦，所以上采样倍数就是200倍啦.......
推荐开源项目：GTCRN - 轻量级语音增强模型
gitblog_00037的博客
06-26 1070
推荐开源项目：GTCRN - 轻量级语音增强模型 项目地址:https://gitcode.com/gh_mirrors/gt/gtcrn 1、项目介绍 在音频处理领域，GTCRN（Grouped Temporal Convolutional Recurrent Network）是一个值得关注的创新项目。该项目源自ICASSP 2024接受的一篇论文，提供了实现超低计算资源需求的语音增强模型。通过...
【语音增强论文解读 01】 A Convolutional Recurrent Neural Network for Real-Time SpeechEnhancement
qq_41893773的博客
03-30 3128
作者：Ke Tan, DeLiang Wang 文末附文章地址与开源代码地址 1. 动机 语音增强的许多实际应用，如助听器和人工耳蜗都需要无延迟或低延迟的实时处理、 2. 方法 受CRN工作的启发，开发了一种全新的CRN架构，用于实时进行与噪声和说话者无关的语音增强。CRN 结合了因果卷积Encoder-Decoder和LSTM。在实时处理中，语音增强框架不能利用未来帧的语音，所以采用了因果卷积的Encoder-Decoder。使用LSTM的主要目的是处理噪声泛化和说话人泛化。 3. 网络架构
AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-27 4773
​ AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读 目录 《MM-LLMs: Recent Advances in MultiModal Large Language Models》翻译与解读 Abstract摘要 1、Lntroduction引言 2、Model Architecture模型架构，五个组件 3、Tra
Wave-U-Net: 基于深度学习的声音处理开源框架
gitblog_01031的博客
08-21 1409
Wave-U-Net: 基于深度学习的声音处理开源框架 项目地址:https://gitcode.com/gh_mirrors/wa/Wave-U-Net 项目介绍 Wave-U-Net 是一个专为声音信号处理设计的深度学习模型框架，由 GitHub 用户 f90 开发维护。本项目旨在提供一种高效的端到端解决方案，特别是在语音增强、去噪以及声学场景分析等任务中表现突出。Wave-U-Net 结合了...
去除背景噪声 阿里通义实验室开源语音处理技术ClearerVoice-Studio
weixin_41446370的博客
12-13 1318
阿里巴巴达摩院的通义实验室近期宣布开源一项名为ClearerVoice-Studio的语音处理技术，旨在提升语音质量和可懂度。随着语音技术的广泛应用，语音质量受到越来越多人的关注，尤其是在环境噪声、混响和设备拾音等情况下，语音处理技术的需求日益迫切。ClearerVoice-Studio集成了语音增强、语音分离和音视频说话人提取等功能，通过融合复数域深度学习算法，大幅提升了语音降噪和分离的性能。该技术能够最大限度地消除背景噪声，保留语音清晰度，同时保持语音失真最小化。
Paper：大模型之《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-12 9211
Paper：大模型之《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读目录Paper：《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读Abstract1 Introduction简介2 Background背景2.1 Transfer Learning and Supervised Pre-Tra
2024-12-08 数字人最新论文更新(MEMO, INFP, IF-MDM, SINGER, One Shot, One Talk, FLOAT等)
风信子的猫Redamancy的快乐星球
12-08 1597
汇总一下最近一个星期的一些数字人论文的更新，我觉得比较有意思的一些文章比如SINGER，用Diffusion来做sing的talking head，确实是一个不错的文章，已经开源了，大概可能还是类似于复旦的Hallo工作；比较有意思的是类似于INFP这样的工作，做了一个双人交互，我大概看了一下Project，觉得还是很不错的；除此之外，类似于One Shot，One Talk这样的3D点工作也是非常有趣，后续会对一些有意思的文章做一些解读和学习，更多的详细内容会在我的知识星球更新 ，欢迎大家关注哈！
使用 ROCm 在 AMD GPU 上微调和测试前沿的语音模型
数字人生
11-20 1672
在这篇博客文章中，我们一步一步地展示了如何在AMD硬件上使用ROCm，微调和测试三种最先进的机器学习自动语音识别（ASR）模型。我们首先介绍了Wav2Vec 2.0模型，该模型已经过微调，用于西班牙语的自动语音识别。接着，我们研究了如何使用音频频谱变换器进行音频分类。最后，我们重点介绍了如何使用PyAnnote.Audio进行讲话者区分。每个模型的微调和推理过程都强调了ROCm在AMD GPU上处理复杂语音处理任务时的稳健性和能力。
Python文字转语音TTS库示例（edge-tts）
最新发布
真相很简单
05-12 844
开源库，使用websocket跟微软在线模型。
SenseVoice部署（Windows环境）+ 简易api二次开发：实现麦克风语音识别
热门推荐
qq_18813685的博客
08-21 1万+
超快速的多功能ASR/STT（自动语音识别） SenseVoice-api简易开发应用教程
【今日CV 计算机视觉论文速览 第124期】Tue, 4 Jun 2019
TomRen
06-05 2889
视觉论文速览 第124期 时尚图像交互式编辑 图像图层分离 立体视觉生成视差图深度图网络 卡通形象实时生成 噪声后验极大似然估计去噪
语音信号处理：预处理【预加重、分帧、加窗】
u013250861的博客
08-10 7394
预加重是语音信号处理的前提，主要目的是提升语音信号中的高频分量。人的发生系统是从肺开始，肺作为能量源，气流通过声带，引发周期性震动（元音），能量经过咽、口腔、唇、舌， 形成最后的声音。元音能量主要集中在1KHz以下，并且以6dB/十倍频的速度下降。辅音一般不引起声带振动，频率更高。其中口唇辐射对低频影响比较小，但是对高频段影响比较大， 预加重就是为了消除这种影响，提升高频分量。在语音信号中，提升高频分量的目的主要是因为高频分量（即辅音）包含了更多的信息，而元音的频率普遍较低。...
语音信号处理-概念（一）：时域信号（横轴：时间；纵轴：幅值）、频谱图（横轴：频率；纵轴：幅值）--傅里叶变换--＞时频谱图（语谱图/声谱图）【横轴：时间；纵轴：频率；颜色深浅：幅值】
u013250861的博客
06-26 6891
时域和频域是信号的基本性质，用来分析信号的不同角度称为域，一般来说，时域的表示较为形象与直观，频域分析则更为简练，剖析问题更为深刻和方便。目前，信号分析的趋势是从时域向频域发展。然而，它们是互相联系，缺一不可，相辅相成的。信号的时域和频域参考资料： 音频特征（2）：时域图、频谱图、语谱图（时频谱图） 什么是信号的时域和频域？.....................
语音信号处理：采样定理【只要采样频率大于或等于有效信号最高频率的两倍，采样值就可以包含原始信号的所有信息，被采样的信号就可以不失真地还原成原始信号】
u013250861的博客
07-19 5766
根据采样定理，最低采样频率必须是信号频率的两倍。反过来说，如果给定了采样频率，那么能够正确显示信号而不发生畸变的最大频率叫做恩奎斯特频率，它是采样频率的一半。如果信号中包含频率高于奈奎斯特频率的成分，信号将在直流和恩奎斯特频率之间畸变。采样定理，又称香农采样定理，奈奎斯特采样定理，只要采样频率大于或等于有效信号最高频率的两倍，采样值就可以包含原始信号的所有信息，被采样的信号就可以不失真地还原成原始信号。...
WAV、PCM（波形文件）格式分析与详解
u013250861的博客
06-24 4256
WAV文件是在PC机平台上很常见的、最经典的多媒体音频文件,最早于1991年8月出现在Windows 3.1操作系统上,文件扩展名为WAV,是WaveFom的简写,也称为波形文件,可直接存储声音波形,还原的波形曲线十分逼真。WAV文件格式简称WAV格式是一种存储声音波形的数字音频格式,是由微软公司和IBM联合设计的,经过了多次修订,可用于Windows,Macintosh,Linix等多种操作系统,详述如下。声源发出的声波通过话筒被转换成连续变化的电信号,经过放大、抗混叠滤波后,按固定的频率进行采样,每个样
音频-特征提取：①幅度谱（短时傅里叶变换谱/STFT）、②梅尔频谱（mel-spectrogram）、③梅尔倒谱（MFCC）【在梅尔频谱上取对数，做DCT（离散余弦变换）变换，得梅尔倒谱】
u013250861的博客
07-16 4197
给定原始的音频信号，通过melspectrogram（）函数提取梅尔频谱，然后通过DCT离散余弦变换得到梅尔倒谱系数。Mel滤波器对应了频率提高之后人耳会迟钝的客观规律，所以Mel滤波器在人声的信号处理上有着广泛的使用，但是如果应用到非人声上，就会丢失很多高频信息。输入语音信号->预加重->分针->加窗->FFT（傅里叶变换）->Mel滤波器->对数运算->DCT(离散预先变换)->MFCC。这是MFCC（梅尔倒谱）的提取过程，而梅尔频谱则是经过Mel滤波器就直接输出的一个结果。..............
语音信号处理-参数详解（一）：n_fft（FFT窗口大小：FFT在时间轴上的长度，以采样点数量表示）【FFT的长度N决定频域中的分辨率】【频域分辨率=采样率/n_fft】【n_fft的选择：】
u013250861的博客
09-05 3835
实际上，在整个数量上进行一英尺实际需要花费相当长的时间，更不用说估计会产生偏差，因为信号的均值和方差将在整个持续时间内急剧变化。为了避免这种情况，您希望首先对时域信号进行帧构建，这些帧可以小至20ms-40ms(通常用于语音)，并且经常重叠(频谱估计的韦尔奇方法)。例如，波形文件，采样率为960Hz，使用128点FFT，您有resolution = 960 / 128 = 7.5 Hz。这样，所得FFT中的每个bin(或大概是由此得出的功率谱)将为7.5 Hz宽，您将能够区分至少相距如此之远的频率分量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值