TTS中的length_regular(分箱算法)的静态实现形式

最新推荐文章于 2024-09-28 22:05:59 发布

AIcoderAR

最新推荐文章于 2024-09-28 22:05:59 发布

阅读量126

点赞数

文章标签：算法 python 语音识别

本文链接：https://blog.csdn.net/weixin_42343812/article/details/131131430

版权

该代码定义了一个名为OnnxLengthRegulator的神经网络模块，用于处理序列数据的长度调整。它根据给定的持续时间(duration)动态计算padding位置，使用cumsum方法和torch的比较操作来确定非零元素的索引。然后，它选择并堆叠序列中的有效部分，最后返回处理后的输出和mask的总和，用于指示有效长度。

摘要由CSDN通过智能技术生成

class OnnxLengthRegurator(nn.Module):
    def __init__(self, max_len=1400):
        super().__init__()
        self.max_len = max_len
        # The maximum length of the make_pad_mask is the
        # maximum value of the duration.
        self.make_pad_mask = None #MakePadMask(max_seq_len, flip=False)
    
    def LR(self, x, duration):
        duration = duration.to(torch.int32)
        # positions = (torch.arange(self.max_len).unsqueeze(-1).unsqueeze(-1) < duration.cumsum(1)).sum(2)
        positions = (torch.arange(self.max_len).unsqueeze(-1).unsqueeze(-1).to(torch.int32) < duration.cumsum(1).to(torch.int32)).sum(2)

        mask = positions.ne(0)
        index = ((duration.size(1) - positions) * mask).T

        x_l = [torch.index_select(x[i], 0, index[i]) for i in range(x.size(0))]
        outputs = torch.stack(x_l).to(x.dtype)
        outputs = outputs * mask.T.unsqueeze(-1)
        # outputs torch.Size([2, 1000, 256]) batch, mel_len, hidden
        return outputs, mask.sum(0)

    def forward(self, x, duration):
        output, mel_len = self.LR(x, duration)
        return output  #, mel_len