大模型之三十一-音源分离

已于 2024-09-11 09:25:46 修改
阅读量3.4k 收藏 23
点赞数 22
分类专栏： 神经网络&人工智能 文章标签： 人工智能 音乐 人声分离 MSS
于 2024-09-10 20:10:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shichaog/article/details/142106798
版权

大模型之三十一-音乐分离模型

因为TTS模型训练还有几个结果没出，本篇先介绍一下音乐分离模型吧。其实可能你也猜到了，一部分TTS的数据是网上爬来的，这种音频可能会有背景音之类的，这里需要将乐器类的伴奏去掉。所以就此介绍一下本篇文章吧。

在选择和使用音乐源分离工具时，没有“一劳永逸”的最佳方案，因为每首歌曲的录制和混音方式都有所不同。因此，尝试和比较不同的模型和设置，根据具体情况调整策略，是达到最佳分离效果的关键。

因为本篇集中在对人声的提取，所以重点关注于vocal的性能。

当前音乐多轨分离比较流行的架构是Demucs、MDX-Net、MDXC以及VR Arch这几种，当前UVR5提供了UI界面进行分离的方法。本篇测试以audio-separator为例进行的。UVR5详细介绍文档

Demucs

“Demucs” 来自meta࿰

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一个完整的MGMN音源分离模型学习路径 Multimodal Generative Adversarial Network for Music source separation
AI天才研究院
08-06 1723
音源分离（Music source separation）问题是指将一个混合信号中的不同音源分离出来并得到各自的单独波形的过程。由于不同类别的音乐同时出现在同一个空间中，因此对其进行音源分离非常重要。传统的方法主要集中在统计方法和优化方法两大类，但多模态生成对抗网络（Multimodal Generative Adversarial Networks，简称MGMN）则成为当下热门的研究方向之一。本文提出了一个多模态生成对抗网络，用于音源分离任务，并基于该模型设计了评估标准，比较了不同模型之间的性能差异。
音源分离|Music Source Separation in the Waveform Domain
cash_cp的博客
05-14 1108
本文提出了一种新的时域模型Demucs，它具有U-Net结构和双向LSTM
【保姆级教程】UVR5音频分离工具完全指南 | 音乐制作者 | 音频处理 | 附工具包
最新发布
2501_90837964的博客
03-02 1629
Ultimate Vocal Remover 5 (UVR5) 是一款功能强大的AI人声伴奏音频分离软件，它能够利用深度学习模型从音频文件中分离出人声和伴奏。UVR5在音乐制作、音频编辑、学习等多种场景中都非常有用。
HMS Core音频编辑服务音源分离与空间音频渲染，助力快速进入3D音频的世界
HarmonyOS SDK闭源开放能力技术团队
07-29 927
从单声道、立体声、环绕声发展到三维声，音频回放技术的迭代演进是为了还原真实世界的声音。其中，三维声技术使用信号处理的方法对到达两耳的声音信号进行模拟，将声场还原为三维空间，更接近真实世界。凭借这个技术，各厂商在游戏、影视、音乐等场景中为用户创造更真实自然且沉浸的听觉体验，也实现了更好的用户订阅增长。 传统3D音频的制作需获取原始的分轨素材（如录制的人声、钢琴声等），并使用专业的数字音频工作站（DAW）和3D混音插件手工制作，因此制作周期长、生产效率低、成本高、门槛高。此外，开发者由于没有歌曲的原始分轨，因此
音源分离｜MUSIC SOURCE SEPARATION BASED ON A LIGHTWEIGHT DEEP LEARNING FRAMEWORK
cash_cp的博客
04-25 1907
本文中，介绍了一种新的轻量级架构DTTNet，它基于双路径模块和时频卷积时间分布全连接UNet（TFC-TDF UNet）
[语音分离]端到端声源分离研究：现状、进展和未来
五好市民金闪闪的博客
01-06 4607
本文是由罗艺老师主讲的『端到端声源分离研究进展』f分享整理而来。内容主要覆盖了单通道和多通道上端到端音源分离的现状和进展以及未来的研究方向。文末有彩蛋，评论可获取课程学习资料~ 端到端音源分离定义与进展 什么是端到端音源分离呢？罗艺老师首先介绍了端到端音源分离的定义。从名称来看，端到端的含义是模型输入源波形后直接输出目标波形，不需要进行傅里叶变换将时域信号转换至频域；音源分离的含义是将混合语音中的两个或多个声...
论文解读-Unsupervised Audio Source Separation using Generative Priors
weixin_44305824的博客
03-20 1649
Unsupervised Audio Source Separation using Generative Priors论文解读 本文以读懂Unsupervised Audio Source Separation using Generative Priors论文（Interspeech2020）为主线，对WaveGAN、Deep Audio Prior(DAP)、Projected Gradient Descent(PGD) optimization等该论文所应用的方法一并做了解读，以帮助读者更好地理解
Deezer 的(Tensorflow)音源分离库，可用命令行直接提取音乐中的人声、钢琴、鼓声等-python
06-18
Deezer 的(Tensorflow)音源分离库，可用命令行直接提取音乐中的人声、钢琴、鼓声等 关于 Spleeter 是 Deezer 源代码分离库，带有用 Python 编写的预训练模型，并使用 Tensorflow。 它可以轻松训练源分离模型（假设...
2021-3-20组会 无监督训练下的音频分离 (音源分离) Unsupervised Audio Source Separation Using Generative Priors
ruclion的专栏
03-20 1184
0. 说明 一片具体论文的综述
spleeter音乐人声分离模型_2stems.tar.gz
02-14
github下载较慢，可以从这下。详细使用请看我写的另一篇《spleeter音乐人声分离环境搭建和运行windows+ubuntu18.04》
音频分离（Audio Separation）
百态老人的博客
01-03 1355
音频分离（Audio Separation）是指从混合音频信号中提取并分离出各个独立的音频源的技术。这项技术在音乐制作、语音增强、视频编辑、语音识别等多个领域具有广泛的应用前景。音频分离技术凭借其强大的功能和广泛的应用前景，正在不断推动音频处理领域的创新与发展。随着技术的进一步完善，它将在更多领域中发挥重要作用，为用户带来更加丰富和便捷的声音体验。综上所述，深度学习模型在音频分离技术中的最新进展主要集中在端到端的语音分离模型、开源工具的开发以及多模型集合项目的应用。
音频分离应用
12-26
完美分离各种混合音频，并且有输出功能，并且算法在分离性能上比传统算法高效，
啸叫终结篇——声源分离技术
NLP与推荐算法
08-26 424
啸叫抑制方法及初步解决方案
wave-u-net：端到端（end-to-end）音源分离 1806
JamesShuker的博客
08-07 3205
https://arxiv.org/pdf/1806.03185.pdf ABSTRACT 忽略了相位信息，性能依赖于频谱前端的超参数（hyper-parameters for the spectral front-end）。 Wave-u-net将u-net适应于一维时域的方法，通过重复对特征图重采样来计算和组合不同时间尺度的特征。 由（enforces source additivity）输出层、上采样、上下文感知的框架，减少输出。 INTRODUCTION 现有的方法：将信号（复值谱图）进行傅里叶.
【HMS Core】音频编辑服务带你实现音源分离与合成
华为开发者联盟
02-17 365
垂域codelab、音源分离、HMS Core
音源分离 | Hybrid Spectrogram and Waveform Source Separation
cash_cp的博客
05-14 839
本文提出了基于Demucs架构的的时域+频域的分离模型
语音/音乐分离综述
yanyu2940497的博客
05-16 3182
—其实是鸡尾酒会效应，但是任意信号分离难度比较大。语音和噪音分离-enc，音乐分离，语音和语音之间分离，大概分这几种吧。其实严格来说还需要搭配声学事件检测之类的来进行，但是此处假定信号成分已知。——然后语音分离常见的是两个人分离，任意说话人数量的分离也是可以的，但是三个人以上的难度陡增。一般可分为单通道和多通道——多通道可能会用到额外的麦克风阵列辅助，也可能是每个通道做单通道分离。当然也可以是先单通道预分离再结合。——分离问题属于欠定问题，很适合用深度学习来解决。
KaraFan音乐分离模型指南
gitblog_01074的博客
09-11 938
KaraFan音乐分离模型指南 KaraFan The BEST music separation model with help of A.I. ... to my ears ! ???????? 项目地址: https://gitcode...
毕业设计：基于深度学习的人声和背景音乐分离算法系统
Hai_Lang_IT的博客
02-21 3210
毕业设计：基于深度学习的人声和背景音乐分离算法系统通过构建高效的神经网络模型，实现对音频信号中人声和背景音乐的精准分离。提出了一种新型的深度学习框架，该框架能够自适应地提取音频和人声。为计算机毕业设计提供了一个创新的方向，结合了深度学习和计算机视觉技术，为毕业生提供了一个有意义的研究课题。对于计算机专业、软件工程专业、人工智能专业、大数据专业的毕业生而言，提供了一个具有挑战性和创新性的研究课题。无论您对深度学习技术保持浓厚兴趣，还是希望探索机器学习、算法或人工智能的领域的同学，能为您提供灵感和指导
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shichaog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值