编码器与解码器

在深度学习中，编码器-解码器结构是一种常见的神经网络结构，用于处理序列数据、生成任务等。这种结构主要由两部分组成：编码器和解码器。

编码器

编码器负责将输入数据映射为一个高维表示，该表示捕获了输入数据的关键特征。编码器的目标是提取输入数据的有用信息，将其编码为一个固定维度的向量或矩阵。

其原理为：输入数据通过一系列层进行前向传播，逐渐减少维度并提取重要的特征信息。最终，编码器产生一个高维度的隐藏表示，该表示携带了输入数据的抽象特征。

解码器

解码器接受来自编码器的高维表示，并将其转换为目标数据或序列。解码器的任务是生成与输入数据相对应的输出数据。

其原理为：解码器通常包括逆过程的层，通过逐步增加维度的方式，将编码器输出映射回原始数据空间。解码器的最终输出是模型的预测或生成的目标数据。

示例代码：

import torch
import torch.nn as nn

class Encoder(nn.Module):
    def __init__(self, input_size, hidden_size):
        super(Encoder, self).__init__()
        self.gru = nn.GRU(input_size, hidden_size)

    def forward(self, input_seq):
        _, hidden_state = self.gru(input_seq)
        return hidden_state

class Decoder(nn.Module):
    def __init__(self, hidden_size, output_size):
        super(Decoder, self).__init__()
        self.gru = nn.GRU(hidden_size, output_size)

    def forward(self, hidden_state):
        output_seq, _ = self.gru(hidden_state)
        return output_seq

# 使用编码器和解码器
input_size = 10
hidden_size = 20
output_size = 10

encoder = Encoder(input_size, hidden_size)
decoder = Decoder(hidden_size, output_size)

# 示例输入
input_seq = torch.randn(5, 1, input_size)
# 编码器前向传播
hidden_state = encoder(input_seq)
# 解码器前向传播
output_seq = decoder(hidden_state)

print("编码器输出：", hidden_state.shape)
print("解码器输出：", output_seq.shape)