AutoEncoder简单很多,简写一下。主要分两个部分,Encoder和Decoder,Encoder是降维的过程,Decoder是将降维的结果升维,AutoEncoder希望升维的结果与原始数据尽可能一致,二者共同构成一个前馈的网络,训练完后的中间结果就是降维结果。Encoder和Decoder的构成可以是线性的,也可以是非线性的,可以自由设计。
看代码更明白一些:
class AutoEncoder(nn.Module):
def __init__(self):
super(AutoEncoder, self).__init__()
# 降维
self.encoder = nn.Sequential(
nn.Linear(28*28, 128),
nn.Tanh(),
nn.Linear(128, 64),
nn.Tanh(),
nn.Linear(64, 12),
nn.Tanh(),
nn.Linear(12, 3),
)
# 升维
self.decoder = nn.Sequential(
nn.Linear(3, 12),
nn.Tanh(),
nn.Linear(12, 64),
nn.Tanh(),
nn.Linear(64, 128),
nn.Tanh(),
nn.Linear(128, 28*28),
nn.Sigmoid(), # 激励函数让输出值在 (0, 1),因为原始数据transform到了(0,1)
)
def forward(self, x):
encoded = self.encoder(x)
decoded = self.decoder(encoded)
return encoded, decoded #返回编码结果和解码结果
autoencoder = AutoEncoder()
optimizer = torch.optim.Adam(autoencoder.parameters(), lr=0.1)
loss_func = nn.MSELoss()
for epoch in range(EPOCH):
for step, (x, b_label) in enumerate(train_loader):
b_x = x.view(-1, 28*28) #原始数据
b_y = x.view(-1, 28*28) #原始数据
encoded, decoded = autoencoder(b_x)#原始数据放到网络中
oss = loss_func(decoded, b_y) #计算损失
optimizer.zero_grad()
loss.backward()
optimizer.step()