字节博士搞的AI火了,一键完美分离人声和伴奏 | 在线可玩

博雯 发自 凹非寺
量子位 报道 | 公众号 QbitAI

写歌填词、改换风格、续写音乐的AI,今天又来做编曲人了!

上传一段《Stay》,一键按下:

4eb1a5ba20db16a0569081fc8efa446a.png

伴奏和人声就轻松分离。

人声颇有种在空旷地带清唱的清晰感,背景乐都能直接拿去做混剪了!

d392ea97ac7796175b08eadebef27d5e.png

这样惊人的效果也引发了Reddit热议:

eebac8d521ac4e39dc452b8bb57c490f.png

这项研究的主要负责人孔秋强来自字节跳动,全球最大的古典钢琴数据集GiantMIDI-Piano,也是由他在去年牵头发布的。

那么今天,他又带来了怎样的一个AI音乐家呢?

一起来看看。

基于深度残差网络的音源分离

这是一个包含了相位估计的音乐源分离(MSS)系统。

首先,将幅值(Magnitude)与相位(Phase)解耦,用以估计复数理想比例掩码(cIRM)。

其次,为了实现更灵活的幅值估计,将有界掩码估计和直接幅值预测结合起来。

最后,为MSS系统引入一个143层的深度残差网络(Deep Residual UNets),利用残差编码块(REB)和残差解码块(RDB)来增加其深度:

3f4ca48d61e50667ce50680f63afb0b5.png

残差编码块和残差卷积块中间还引入了中间卷积块(ICB),以提高残差网络的表达能力。

其中每个残差编码块由4个残差卷积块(RCB)组成,残差卷积块又由两个核大小为3×3的卷积层组成。

每个残差解码块由8个卷积层和1个反卷积层组成。

e4976d90ec3310941302db63270c3f1d.png

实验结果

接下来,将这一系统在MUSDB18数据集上进行实验。

MUSDB18中的训练/验证集分别包含100/50个完整的立体声音轨,包括独立的人声、伴奏、低音、鼓和其他乐器。

在训练时,利用上述系统进行并行的混合音频数据增强,随机混合来自同一来源的两个3秒片段,然后作为一个新的3秒片段进行训练。

以信号失真率(SDR)作为评判标准,可以看到ResUNetDecouple系统在分离人声、低音、其他和伴奏方面明显优于以前的方法:

c4c9e6dc0e5f5fa4cb351251505ef3d9.png

在消融实验中,143层残差网络的表现也证实了,结合有界掩码估计和直接幅值预测确实能够改善声音源分离系统的性能。

b5ccab12d5e37f7b909ef946ab5c493f.png

作者介绍

这项研究的论文一作为孔秋强,本硕都毕业于华南理工大学,博士则毕业于英国萨里大学的电子信息工程专业。

他在2019年加入字节跳动的Speech, Audio and Music Intelligence研究小组,主要负责音频信号处理和声音事件检测等领域的研究。

a1d95278ff884fe64247b9476d7ba10a.png

论文:
https://arxiv.org/abs/2109.05418

试玩:
https://huggingface.co/spaces/akhaliq/Music_Source_Separation

开源地址:
https://github.com/bytedance/music_source_separation

参考链接:
https://www.reddit.com/r/MachineLearning/comments/pqpl7m/r_decoupling_magnitude_and_phase_estimation_with/

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值