riff + diffusion 是 stable diffusion 的微调模型，以生成频谱图图像来转换音乐。能产生更精准的声音模型叫：Riffusion。
它能对音频进行剪辑处理，或者是无限地修改提示符。
Riffusion
图源：riffusion 官网
频谱图
频谱图是音频声波的视觉表示，就像某人唱歌或说话一样。在音频频谱图中，声音被表示并映射到图形上。X轴是持续时间，Y轴是声音的频率。
图源：riffusion 官网
每个频率都可以有一个时间标识，并由像素的颜色表示，从而给出振幅。
stable diffusion 使用短时傅里叶变换（ STFT ）计算频谱图图像，STFT使用不同相位和振幅的一系列正弦波近似声音。
STFT 表示本地信号随时间变化的频率和相位，可以计算、反转这些信号变化，然后在频谱图中显示。
频谱图如何变成声音？
模型使用一种称为 Griffin-Lim 的特殊算法来近似相位偏移，生成频谱图，并在 AI 系统中进一步将其下游转换为音频。
也可以将 stable diffusion 的创建条件设置为文本和图像一起使用。
像爵士乐一样流畅
模型可以在长时间回放以及剪辑时无限移动，或者作为实时频谱图生成的歌曲，直到你得到一首从头到尾听起来流畅的歌曲为止。
图源：riffusion 官网
Riffusion 的出现让每一个人都有机会体验一把小小的音乐创作瘾，不需要斥巨资购入一堆乐器也能做出一条属于自己的流畅 bgm。
虽然 Riffusion 无法代替音乐人的创作，但对于从事音频工作的人来说却是省时省力的好帮手。
地址：
github.com/hmartiro/ riffusion-inference
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
