ClearerVoice-Studio 开源语音处理平台

已于 2025-01-23 11:11:50 修改
阅读量2.6k 收藏 23
点赞数 53
分类专栏： 语音处理 语音增强 语音降噪 文章标签： python 前端 深度学习 开源 github 开源软件
于 2024-12-04 15:48:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eddyzhao912/article/details/144241955
版权
快速推进语音处理技术，助力算法的广泛应用

为促进语音处理技术的发展和应用，通义实验室正式开源 ClearerVoice-Studio —— 一个集成语音增强、语音分离和音视频说话人提取等功能的语音处理框架。该平台不仅提供了顶尖的预训练模型和算法，还吸引了众多开发者积极参与和体验，为语音技术的进步注入更多可能性。

在 ClearerVoice-Studio 平台中，我们融入了多种创新的语音处理算法，搭配经过精心调优的模型，旨在为用户提供卓越的语音处理体验。

🌟 ClearerVoice-Studio 的核心特色

  • 预训练模型：内置高性能预训练模型，基于大规模高质量数据集优化，无需从零开始，开箱即用！

  • 易用性：简洁直观的设计，支持灵活的推理与训练接口，轻松集成到您的项目中；

  • 功能全面：融合多种高级算法，涵盖语音增强、分离与目标说话人提取等多种任务；

  • 社区驱动：面向研究人员、开发者和爱好者，打造协作创新的开放平台，鼓励共同进步；

  • 开源透明：所有模型、算法和代码公开，供全球开发者学习和使用；

  • 实验验证：模型经过大规模数据集验证，效果稳定可靠。

💡 ClearerVoice-Studio 能为您做什么？

  • 高效去除背景噪声，将嘈杂语音处理成高质量、清晰的语音信号；

  • 从复杂音频混合中轻松分离目标语音，满足多种语音处理需求；

  • 使用音视频结合的模型精确提取目标说话人的语音信号；

  • 使用模型训练和调优工具进行模型效果打磨；

  • 未来将陆续推出更多强大的语音处理功能，敬请期待！

📂 如何找到我们？

背景

随着语音技术的普及，语音质量已成为人们关注的焦点。然而，环境噪声、混响、设备拾音等问题，常常使语音质量和可懂度大打折扣。

无论是录制清晰语音却因周围环境嘈杂充满噪声，还是在地铁、餐厅等喧闹场景中与人通话时不得不提高嗓音，这些场景都体现了语音处理技术的迫切需求。特别是在复杂的多人对话环境中，如何有效分离目标说话人的语音信号，避免其他干扰，一直是语音处理领域的难点和热点。

ClearerVoice-Studio 正是为了解决这些痛点而推出的。通过融合复数域深度学习算法，我们大幅提升了语音降噪和分离的性能，能够最大限度地消除背景噪声并保留语音清晰度，同时保持语音失真最小化。

核心模型与算法亮点

  • FRCRN 模型：在 2022 年 IEEE/INTER Speech DNS Challenge 中取得整体第二的优异成绩，展现出卓越的语音增强能力。

​

  • MossFormer 系列模型：在语音分离任务中表现卓越，首次超越 SepFormer，获得业内广泛认可。目前，MossFormer 框架已扩展至语音增强和目标说话人提取任务。基于 MossFormer2 的 48kHz 语音增强模型在有效抑制噪声的同时，大幅降低了语音失真。


​

我们致力于将这些先进模型和算法通过 ClearerVoice-Studio 平台开放给更多用户，希望为开发者、研究者和企业提供强大的语音处理工具，助力创新应用落地。

成果展示

感谢广大用户对我们平台的支持！

基于 FRCRN 语音降噪模型 和 MossFormer 语音分离模型，我们在 ModelScope.cn 上的累计使用量已突破 500 万次。这是对我们算法能力的高度认可，更是对开源模式的肯定！

为此，我们将持续优化平台功能，扩大开源影响力，与更多用户共同推动语音技术的发展。​

​

🎧 体验 ClearerVoice-Studio 的卓越性能

想亲身体验我们算法的强大吗？您只需点击以下链接即可轻松上手：
🔗 ClearerVoice-Studio on HuggingFace

如何操作：

  1. 准备一段包含噪声的语音文件或者多人说话的音频/视频；

  2. 上传至指定页面；

  3. 一键处理后，您可以在线试听/试看，也可以下载处理结果到本地。

清晰的音质、卓越的降噪效果，就在指尖触达！

​
​

更多模型评测结果及技术细节，请访问 ClearerVoice-Studio 页面了解详情。

🤝 加入 ClearerVoice-Studio 开源社区

ClearerVoice-Studio 是一个由社区驱动的开源平台，我们深信协作的力量。您的每一份支持，都将推动语音处理技术更进一步！

🔗 支持我们的方式

  • 为 GitHub 仓库加星⭐，并分享给更多感兴趣的朋友；

  • 贡献代码，一起完善平台功能；

  • 提供反馈和使用案例，帮助我们不断改进；

  • 加入社区讨论，共创想法和技术创新。

让我们携手突破语音处理的边界，探索更清晰、更纯净的声音世界！

感谢您的支持与信任！❤️

文献参考：

【1】Zhao, Shengkui and Ma, Bin and Watcharasupat, Karn N. and Gan, Woon-Seng, “FRCRN: Boosting Feature Representation Using Frequency Recurrence for Monaural Speech Enhancement”, ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).

【2】Zhao, Shengkui and Ma, Bin, “MossFormer: Pushing the Performance Limit of Monaural Speech Separation using Gated Single-head Transformer with Convolution-augmented Joint Self-Attentions”, ICASSP 2023 - 2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).

【3】Zhao, Shengkui and Ma, Bin et al, “MossFormer2: Combining Transformer and RNN-Free Recurrent Network for Enhanced Time-Domain Monaural Speech Separation”, ICASSP 2024 - 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).

搜索索引：

语音超分下采样 语音超分辨率 谱减法 噪音消除 语音降噪算法代码 语音降噪 深度学习
语音降噪cnn语音降噪小波python 语音信号降噪 python 语音降噪增强 ai语音降噪 实时语音降噪 python 语音信号降噪matlab 语音信号降噪增强 语音增强模型 语音增强matlab代码 语音增强算法 语音增强数据集 语音增强 python 语音增强开源项目 语音增强方法综述 matlab语音增强 语音信号增强系统设计 python 语音降噪增强 语音分离算法 语音分离方法 语音分离模型 语音分离任务 语音分离api 语音分离的挑战matlab 语音分离多说话人 语音分离多通道 语音分离语音实时分离 语音处理 语音分离 语音去噪 变频 回旋 回声 含SNR 滤波器 谱减法

Qwen-14B-Chat-Int4推理报错:ImportError: libcudart.so.12: cannot open shared object file
qq_42681787的博客
11-09 1822
按照提示，pip安装这两个包，结果报错： ImportError: libcudart.so.12: cannot open shared object file: No such file or directory。发现是由于安装的 auto-gptq版本与conda安装的CUDA版本冲突所导致。在 Qwen-14B-Chat-Int4推理时，发现报错，缺少 optimum 和 auto-gptq 两个pip包。安装了跟我conda环境与cuda版本相匹配的 AutoGPTQ，问题解决。
大模型LLM 在线量化；GPTQ\AWQ量化及推理
weixin_42357472的博客
11-19 2179
参考:https://github.com/casper-hansen/AutoAWQ/blob/87350fefb9081dadec111cea9b315d009d877a87/examples/quant_custom_data.py。参考：https://vllm.readthedocs.io/en/latest/quantization/auto_awq.html。参考：https://github.com/vllm-project/vllm/issues/1538。应该是vllm暂时还不支持。
llama2使用gptq量化踩坑记录
weixin_50845368的博客
11-07 7314
我刚开始直接pip install auto-gptq，产生了一系列的问题。本地是CUDA11.6，首先的问题是无法量化。gptq本身是一个github仓库，随后集成在了Transformers 库里，介绍如下：optimum🤗Transformers**已经整合了*，**用于对语言模型进行GPTQ量化。您可以以8、4、3甚至2位加载和量化您的模型，而不会对性能产生很大的影响，并且能够提高推理速度！这在大多数GPU硬件上都得到支持。optimum。
关于pycharm安装GDAL包失败的问题
永不言弃的博客
06-01 2915
4 找到自己项目所在路径下的Scripts文件夹 也就是pycharm 中解释器设置下的解释器路径 C:\Users\casia\OPT-server\Scripts\GDAL-3.3.3-cp39-cp39-win_amd64.whl。5 在终端下输入 pip insall C:\Users\casia\OPT-server\Scripts\GDAL-3.3.3-cp39-cp39-win_amd64.whl。代表自己电脑是win64位机。是自己python版本号。网页中找到对应的安装包。
AtomGPT
TH_NUM的博客
07-02 631
【转发】为了能够在中文上训练出一个能够和ChatGPT能力接近的中文大模型，我们开放了AtomGPT项目AtomGPT基于LLaMA的模型架构，从0开始训练，希望能在训练的过程中，将模型能力得到提升的进化过程展示出来，感受到模型学习的过程。(ps:各位大佬，如果本项目能给您带来一点点帮助，麻烦点个⭐️吧)
BaiChuan13B-GPTQ量化详解
Blue&boke
04-18 1553
1、按照网上搜索的一些代码，如使用auto_gptq原生库进行训练后量化，可能会正常量化，但是在线推理时会出现如找不到bin文件或者tf文件，即模型权重文件，所以和网上大部分代码不同的地方在于，需要提前保存对应模型的权重文件，如果是BaiChuan13B，那么在进行模型量化前，对其进行保存。按照上述步骤，此时模型量化文件保存成功，接下来就是模型在线推理。
源2.0-M32大模型适配AutoGPTQ工具及量化&推理教程
2401_82700030的博客
09-29 1809
AutoGPTQ‌是一个开源工具包，专注于简化大规模语言模型(LLMs)的量化过程。它基于高效的GPTQ算法开发，主要使用Python编程语言，并依托PyTorch框架来实现量化功能。AutoGPTQ的设计目标是为开发者和研究人员提供一个易于使用的API接口，即使对量化技术不太了解的用户也能轻松进行模型量化。通过采用仅量化权重的方式，该工具包在尽量减少性能损耗的情况下，缩减了模型体积，提升了部署的效率。
【AIGC】大模型面试高频考点-LLM量化方法对比：GPTQ、GGUF、AWQ
LeeZhao的博客
03-16 1360
LLM量化方法对比：GPTQ、GGUF、AWQ
欺诈文本分类检测（十四）：GPTQ量化模型
golfxiao的专栏
09-11 1981
本文通过gptq方法分别对微调后的模型进行了8位量化和4位量化，并对比了量化前后模型的性能指标差异，8位量化模型的性能指标变化小，而4位量化模型的性能指标变异较大。
【通义千问】大模型Qwen GitHub开源工程学习笔记（4）-- 模型的量化与离线部署
weixin_46481662的博客
10-13 2837
量化方案基于AutoGPTQ，提供了Int4量化模型，其中包括Qwen-7B-Chat和Qwen-14B-Chat。更新承诺在模型评估效果几乎没有损失的情况下，降低存储要求并提高推理速度。量化是指将模型权重和激活的精度降低以节省存储空间并提高推理速度的过程。AutoGPTQ是一种专有量化工具。Int4是指4位整数量化，与传统的8位量化相比，可以进一步减少存储要求。
pip install pytorch-quantization error
qq_43318374的博客
05-28 928
【代码】pip install pytorch-quantization error。
大模型量化AutoGPTQ代码配置
HuanB123的博客
11-04 516
针对大语言模型推理性能优化的研究取得了巨大的进展，如今我们不仅能够在高端显卡上完成大语言模型的推理，甚至在 CPU 和边缘设备上都可以轻松运行大语言模型。在此记录我配置大模型量化的代码AutoGPTQ的过程中出现的问题和解决方案。选择合适自己的python、系统、和cuda版本的wheel文件，在这里我选择的第三个，因为我的是cu117。大家也可以根据图示命令查看自己虚拟环境中的cuda版本，选择对应的文件。安装的话得到的很可能是不符合你的环境的包。其实最核心的在于安装auto-gptq这个包，但是直接。
使用autogpt来写一篇技术文章（如何部署autogpt+遇到的问题+如何使用）
王亮的博客
04-15 5650
autogpt如何部署，部署遇到问题，使用体验
Qwen大模型实践之量化
lldhsds的专栏
05-08 1730
当前该功能不支持与flash attention同时开启，如果你开了KV cache量化的同时又开了flash attention（use_flash_attn=True， use_cache_quantization=True, use_cache_kernel=True），程序默认将关闭use_flash_attn。开启了KV cache量化之后，模型在推理时可在生成更长的序列（sl，生成的token数）时，节约更多的显存。运行程序后，模型加载完毕，显存占用9G左右，有降低。
AutoGPTQ量化环境搭建与示例实现
qq_41878154的博客
09-10 1067
运行上述代码后可以得到一个量化后的文件夹，这个量化后的模型是以.safetensor格式保存的。文件中具体内容如下所示。
使用GPTQ进行4位LLM量化
wangyifan123456zz的博客
02-26 3576
当一些权重被中间更新推到网格之外时，这种效果可能会恶化。一个简单的启发式应用来防止这种情况：异常值一出现就被量化。这个过程可能需要大量的计算，特别是对于LLMs。为了解决这个问题，OBQ方法使用了一种技巧，避免在每次简化权重时重新进行整个计算。量化权重后，它通过删除与该权重相关的行和列(使用高斯消去)来调整计算中使用的矩阵(Hessian矩阵)。该方法还采用向量化的方法，一次处理多行权矩阵。尽管OBQ的效率很高，但随着权值矩阵的增大，OBQ的计算时间也会显著增加。
在本地Windows机器加载大模型并生成内容
最新发布
oscar999的专栏
03-25 851
本篇演示在本地机器下载和加载大模型并获取AI产生的内容。简单起见，使用的大模型是Qwen2.5-0.5B-Instruct，整个模型的所有文件不到1G。Qwen2.5-0.5B-Instruct 是阿里巴巴云 QWen 团队基于Transformer 架构开发的轻量级指令调优语言模型，专为资源有限场景设计。环境准备。
【笔记】AutoModelForCausalLM
热门推荐
weixin_50862344的博客
06-05 2万+
初学者肯定有很多不对头的地方，麻烦大家多多指点！！！
autogptq
03-11
对于那些希望进一步优化其部署环境中的模型性能的人来说，`AutoGPTQ` 提供了多种配置选项来自定义量化参数，比如位宽(bit-width)，这有助于平衡精度损失与运行效率之间的关系。 #### 注意事项 当处理特定硬件平台...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值