pytorch 版本TCN代码分享

 

TCN，即Temporal Convolutional Network（时序卷积网络），是一种专门用于处理序列数据的神经网络架构。与传统的循环神经网络（RNNs）和长短期记忆网络（LSTMs）相比，TCNs通过利用卷积操作处理时间序列数据，提供了一种不同的方法来捕捉时间依赖性。TCNs的关键特点包括因果卷积、扩张卷积和残差连接，这些特性共同使TCNs在处理各种时序任务时表现出色，如语音合成、时间序列预测和视频处理等。

因果卷积（Causal Convolutions）

因果卷积确保了模型在做出预测时只能使用当前时间点之前的信息，这对于时间序列分析至关重要。在实现上，这意味着卷积层的输出只依赖于当前和过去的输入，而不会受到未来输入的影响。这种设计保证了时间的一致性和预测的可靠性。

扩张卷积（Dilated Convolutions）

扩张卷积是TCN的另一个关键特点，它允许网络在保持参数数量不变的情况下增加感受野（即网络可以“看到”的历史信息的范围）。通过调整卷积核中的“扩张率”，网络可以在不增加计算负担的情况下，更有效地捕捉长期依赖性。这一点对于处理具有长期记忆需求的序列数据特别有用。

残差连接（Residual Connections）

TCN通常包含残差连接，这意味着每个卷积块的输入不仅会传递给下一个块，还会通过一条“快捷路径”直接加到后面几层的输出上。这有助于缓解深度网络中的梯度消失问题，从而使模型能够学习到更深层次的特征，同时保持训练的稳定性。

优点

• 强大的性能：在多个时间序列预测任务上，TCN展示了与或超过RNN和LSTM的性能。
• 并行计算能力：与RNN和LSTM的顺序处理不同，TCN可以更容易地进行并行计算，这使得训练过程更加高效。
• 灵活的感受野调整：通过调节扩张卷积的参数，TCN可以灵活地调整其感受野，以适应不同长度的依赖性。

应用

TCNs因其独特的特点和优势，在多个领域都找到了应用，包括但不限于：

• 时间序列预测：比如股票价格预测、气候变化建模。
• 语音识别和合成：TCN能够处理音频信号中的时序依赖性，用于语音识别和合成任务。
• 视频处理：比如动作识别和视频分类，TCN可以捕捉视频序列中的时间动态。
• 文本生成和机器翻译：虽然这些任务通常由RNN和Transformer完成，但TCN也可以在某些情况下被用作有效的替代方案。

import torch
import torch.nn as nn
from torch.nn.utils import weight_norm


class Chomp1d(nn.Module):
    def __init__(self, chomp_size):
        super(Chomp1d, self).__init__()
        self.chomp_size = chomp_size

    def forward(self, x):
        return x[:, :, :-self.chomp_size].contiguous()


class TemporalBlock(nn.Module):
    def __init__(self, n_inputs, n_outputs, kernel_size, stride, dilation, padding, dropout=0.2):
        super(TemporalBlock, self).__init__()
        self.conv1 = weight_norm(nn.Conv1d(n_inputs, n_outputs, kernel_size,
                                           stride=stride, padding=padding, dilation=dilation))
        self.chomp1 = Chomp1d(padding)
        self.relu1 = nn.ReLU()
        self.dropout1 = nn.Dropout(dropout)

        self.conv2 = weight_norm(nn.Conv1d(n_outputs, n_outputs, kernel_size,
                                           stride=stride, padding=padding, dilation=dilation))
        self.chomp2 = Chomp1d(padding)
        self.relu2 = nn.ReLU()
        self.dropout2 = nn.Dropout(dropout)

        self.net = nn.Sequential(self.conv1, self.chomp1, self.relu1, self.dropout1,
                                 self.conv2, self.chomp2, self.relu2, self.dropout2)
        self.downsample = nn.Conv1d(n_inputs, n_outputs, 1) if n_inputs != n_outputs else None
        self.relu = nn.ReLU()
        self.init_weights()

    def init_weights(self):
        self.conv1.weight.data.normal_(0, 0.01)
        self.conv2.weight.data.normal_(0, 0.01)
        if self.downsample is not None:
            self.downsample.weight.data.normal_(0, 0.01)

    def forward(self, x):
        out = self.net(x)
        res = x if self.downsample is None else self.downsample(x)
        return self.relu(out + res)


class TemporalConvNet(nn.Module):
    def __init__(self, num_inputs, num_channels, kernel_size=2, dropout=0.2):
        super(TemporalConvNet, self).__init__()
        layers = []
        num_levels = len(num_channels)
        for i in range(num_levels):
            dilation_size = 2 ** i
            in_channels = num_inputs if i == 0 else num_channels[i-1]
            out_channels = num_channels[i]
            layers += [TemporalBlock(in_channels, out_channels, kernel_size, stride=1, dilation=dilation_size,
                                     padding=(kernel_size-1) * dilation_size, dropout=dropout)]

        self.network = nn.Sequential(*layers)

    def forward(self, x):
        return self.network(x)