大模型之三十一-音源分离

已于 2024-09-11 09:25:46 修改
阅读量3.5k 收藏 23
点赞数 22
分类专栏： 神经网络&人工智能 文章标签： 人工智能 音乐 人声分离 MSS
于 2024-09-10 20:10:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shichaog/article/details/142106798
版权

大模型之三十一-音乐分离模型

因为TTS模型训练还有几个结果没出，本篇先介绍一下音乐分离模型吧。其实可能你也猜到了，一部分TTS的数据是网上爬来的，这种音频可能会有背景音之类的，这里需要将乐器类的伴奏去掉。所以就此介绍一下本篇文章吧。

在选择和使用音乐源分离工具时，没有“一劳永逸”的最佳方案，因为每首歌曲的录制和混音方式都有所不同。因此，尝试和比较不同的模型和设置，根据具体情况调整策略，是达到最佳分离效果的关键。

因为本篇集中在对人声的提取，所以重点关注于vocal的性能。

当前音乐多轨分离比较流行的架构是Demucs、MDX-Net、MDXC以及VR Arch这几种，当前UVR5提供了UI界面进行分离的方法。本篇测试以audio-separator为例进行的。UVR5详细介绍文档

Demucs

“Demucs” 来自meta࿰

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一个完整的MGMN音源分离模型学习路径 Multimodal Generative Adversarial Network for Music source separation
AI天才研究院
08-06 1739
音源分离（Music source separation）问题是指将一个混合信号中的不同音源分离出来并得到各自的单独波形的过程。由于不同类别的音乐同时出现在同一个空间中，因此对其进行音源分离非常重要。传统的方法主要集中在统计方法和优化方法两大类，但多模态生成对抗网络（Multimodal Generative Adversarial Networks，简称MGMN）则成为当下热门的研究方向之一。本文提出了一个多模态生成对抗网络，用于音源分离任务，并基于该模型设计了评估标准，比较了不同模型之间的性能差异。
音频分离（Audio Separation）
百态老人的博客
01-03 1404
音频分离（Audio Separation）是指从混合音频信号中提取并分离出各个独立的音频源的技术。这项技术在音乐制作、语音增强、视频编辑、语音识别等多个领域具有广泛的应用前景。音频分离技术凭借其强大的功能和广泛的应用前景，正在不断推动音频处理领域的创新与发展。随着技术的进一步完善，它将在更多领域中发挥重要作用，为用户带来更加丰富和便捷的声音体验。综上所述，深度学习模型在音频分离技术中的最新进展主要集中在端到端的语音分离模型、开源工具的开发以及多模型集合项目的应用。
Deezer 的(Tensorflow)音源分离库，可用命令行直接提取音乐中的人声、钢琴、鼓声等-python
06-18
Deezer 的(Tensorflow)音源分离库，可用命令行直接提取音乐中的人声、钢琴、鼓声等 关于 Spleeter 是 Deezer 源代码分离库，带有用 Python 编写的预训练模型，并使用 Tensorflow。 它可以轻松训练源分离模型（假设您有一个孤立源的数据集），并提供已经训练好的最先进的模型来执行各种风格的分离：人声（歌声）/伴奏分离（2 个词干）人声 /鼓/贝斯/其他分离（4个词干） 人声/鼓/贝斯/钢琴/其他分离（5个词干） 2个词干和4个词干模型在musdb数据集上有很高的表现。 Spleeter 也非常快，因为在 GPU 上运行时，它可以将音频文件分离为 4 个词干，比实时速度快 100 倍。 我们设计了 Spleeter，因此您可以直接从命令行使用它，也可以直接在您自己的开发管道中作为 Python 库使用它。 它可以与 Conda、pip 一起安装或与 Docker 一起使用。 快速入门 想尝试但不想安装任何东西？ 我们已经设置了一个 Google Colab。 准备好深入了解了吗？ 在几行中，您可以使用 Conda 安装 Spleete
[语音分离]端到端声源分离研究：现状、进展和未来
五好市民金闪闪的博客
01-06 4656
本文是由罗艺老师主讲的『端到端声源分离研究进展』f分享整理而来。内容主要覆盖了单通道和多通道上端到端音源分离的现状和进展以及未来的研究方向。文末有彩蛋，评论可获取课程学习资料~ 端到端音源分离定义与进展 什么是端到端音源分离呢？罗艺老师首先介绍了端到端音源分离的定义。从名称来看，端到端的含义是模型输入源波形后直接输出目标波形，不需要进行傅里叶变换将时域信号转换至频域；音源分离的含义是将混合语音中的两个或多个声...
【保姆级教程】UVR5音频分离工具完全指南 | 音乐制作者 | 音频处理 | 附工具包
最新发布
2501_90837964的博客
03-02 2171
Ultimate Vocal Remover 5 (UVR5) 是一款功能强大的AI人声伴奏音频分离软件，它能够利用深度学习模型从音频文件中分离出人声和伴奏。UVR5在音乐制作、音频编辑、学习等多种场景中都非常有用。
uvr5的下载使用和一些常用模型（个人使用于so-vits-svc）
热门推荐
2301_79607161的博客
01-02 4万+
GitHub - Anjok07/ultimatevocalremovergui：使用深度神经网络的人声去除器的 GUI.
音源分离|Music Source Separation in the Waveform Domain
cash_cp的博客
05-14 1143
本文提出了一种新的时域模型Demucs，它具有U-Net结构和双向LSTM
HMS Core音频编辑服务音源分离与空间音频渲染，助力快速进入3D音频的世界
HarmonyOS SDK闭源开放能力技术团队
07-29 987
从单声道、立体声、环绕声发展到三维声，音频回放技术的迭代演进是为了还原真实世界的声音。其中，三维声技术使用信号处理的方法对到达两耳的声音信号进行模拟，将声场还原为三维空间，更接近真实世界。凭借这个技术，各厂商在游戏、影视、音乐等场景中为用户创造更真实自然且沉浸的听觉体验，也实现了更好的用户订阅增长。 传统3D音频的制作需获取原始的分轨素材（如录制的人声、钢琴声等），并使用专业的数字音频工作站（DAW）和3D混音插件手工制作，因此制作周期长、生产效率低、成本高、门槛高。此外，开发者由于没有歌曲的原始分轨，因此
音源分离｜MUSIC SOURCE SEPARATION BASED ON A LIGHTWEIGHT DEEP LEARNING FRAMEWORK
cash_cp的博客
04-25 1952
本文中，介绍了一种新的轻量级架构DTTNet，它基于双路径模块和时频卷积时间分布全连接UNet（TFC-TDF UNet）
论文解读-Unsupervised Audio Source Separation using Generative Priors
weixin_44305824的博客
03-20 1668
Unsupervised Audio Source Separation using Generative Priors论文解读 本文以读懂Unsupervised Audio Source Separation using Generative Priors论文（Interspeech2020）为主线，对WaveGAN、Deep Audio Prior(DAP)、Projected Gradient Descent(PGD) optimization等该论文所应用的方法一并做了解读，以帮助读者更好地理解
2021-3-20组会 无监督训练下的音频分离 (音源分离) Unsupervised Audio Source Separation Using Generative Priors
ruclion的专栏
03-20 1190
0. 说明 一片具体论文的综述
spleeter音乐人声分离模型_2stems.tar.gz
02-14
github下载较慢，可以从这下。详细使用请看我写的另一篇《spleeter音乐人声分离环境搭建和运行windows+ubuntu18.04》
音频分离应用
12-26
完美分离各种混合音频，并且有输出功能，并且算法在分离性能上比传统算法高效，
啸叫终结篇——声源分离技术
NLP与推荐算法
08-26 425
啸叫抑制方法及初步解决方案
wave-u-net：端到端（end-to-end）音源分离 1806
JamesShuker的博客
08-07 3275
https://arxiv.org/pdf/1806.03185.pdf ABSTRACT 忽略了相位信息，性能依赖于频谱前端的超参数（hyper-parameters for the spectral front-end）。 Wave-u-net将u-net适应于一维时域的方法，通过重复对特征图重采样来计算和组合不同时间尺度的特征。 由（enforces source additivity）输出层、上采样、上下文感知的框架，减少输出。 INTRODUCTION 现有的方法：将信号（复值谱图）进行傅里叶.
【HMS Core】音频编辑服务带你实现音源分离与合成
华为开发者联盟
02-17 368
垂域codelab、音源分离、HMS Core
音源分离 | Hybrid Spectrogram and Waveform Source Separation
cash_cp的博客
05-14 854
本文提出了基于Demucs架构的的时域+频域的分离模型
ai说话人分离 | 基于语音大模型进行说话人拆分
Luke Ewin的博客
02-28 1372
我们在处理一段长音频时包含了多个人的声音，我们想要提取其中某个人的声音，那么我们该如何办呢？如果你会音频处理软件，比如AU，那么你可以使用它来处理，但是这要人工处理几条音频还能接受，如果是处理成千上万条音频呢，我们就必须要借助计算机来处理了。那么本篇文章主要记录我开发的一款可以根据音频中不同的说话人的声音来切分音频片段的软件。
语音/音乐分离综述
yanyu2940497的博客
05-16 3263
—其实是鸡尾酒会效应，但是任意信号分离难度比较大。语音和噪音分离-enc，音乐分离，语音和语音之间分离，大概分这几种吧。其实严格来说还需要搭配声学事件检测之类的来进行，但是此处假定信号成分已知。——然后语音分离常见的是两个人分离，任意说话人数量的分离也是可以的，但是三个人以上的难度陡增。一般可分为单通道和多通道——多通道可能会用到额外的麦克风阵列辅助，也可能是每个通道做单通道分离。当然也可以是先单通道预分离再结合。——分离问题属于欠定问题，很适合用深度学习来解决。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shichaog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值