从代码出发 Diffusion 的train 和 inference 您 懂了吗?

本文解释了Diffusion模型中Train(基于真实Mel生成带噪样本并预测噪声)和Inference(使用预设噪声和条件预测去噪过程)的过程,强调了噪声处理和条件适应的重要性。
摘要由CSDN通过智能技术生成

Diffusion 的train 和 inference 您 懂了吗?

从代码出发

一张图说明 Train & Inference

train的过程:

  1. 给定 真实mel, 然后随机 t 步 噪声, 加到真实mel, 生成带噪的mel
  2. 通过方差适配器输出的 cond 和 步数 t, 以及带噪mel。 预测噪声。
    (注意, 这个为了和inference 保持一致, 在推理时需要类似 带噪mel、cond、t 这个三个输入, 才能预测噪声, 带噪mel减去预测噪声,就是真实mel了)
    inference:
  3. 随机出一个 噪声x(假设这是符合高斯分布的 带噪mel), 然后输入噪声x,与方差适配器输出的cond,以及预设的步骤t 到训练好的去噪器(denoise) 来预测噪声
  4. 噪声x - 预测噪声 = 预测的mel, 也即是合成的mel

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值