降维系列之 AutoEncoder 自动编码器

AutoEncoder简单很多，简写一下。主要分两个部分，Encoder和Decoder，Encoder是降维的过程，Decoder是将降维的结果升维，AutoEncoder希望升维的结果与原始数据尽可能一致，二者共同构成一个前馈的网络，训练完后的中间结果就是降维结果。Encoder和Decoder的构成可以是线性的，也可以是非线性的，可以自由设计。

看代码更明白一些：

class AutoEncoder(nn.Module):
	def __init__(self):
	super(AutoEncoder, self).__init__()
	# 降维
	self.encoder = nn.Sequential(
	nn.Linear(28*28, 128),
	nn.Tanh(),
	nn.Linear(128, 64),
	nn.Tanh(),
	nn.Linear(64, 12),
	nn.Tanh(),
	nn.Linear(12, 3), 
	)
 	# 升维
 	self.decoder = nn.Sequential(
 	nn.Linear(3, 12),
	nn.Tanh(),
	nn.Linear(12, 64),
	nn.Tanh(),
	nn.Linear(64, 128),
	nn.Tanh(),
	nn.Linear(128, 28*28),
	nn.Sigmoid(), # 激励函数让输出值在 (0, 1)，因为原始数据transform到了(0,1)
	)
	
	def forward(self, x):
		encoded = self.encoder(x)
		decoded = self.decoder(encoded)
		return encoded, decoded #返回编码结果和解码结果

autoencoder = AutoEncoder()
optimizer = torch.optim.Adam(autoencoder.parameters(), lr=0.1)
loss_func = nn.MSELoss()
for epoch in range(EPOCH):
	for step, (x, b_label) in enumerate(train_loader):
 	b_x = x.view(-1, 28*28) #原始数据
 	b_y = x.view(-1, 28*28) #原始数据
	encoded, decoded = autoencoder(b_x)#原始数据放到网络中
 	oss = loss_func(decoded, b_y) #计算损失
	optimizer.zero_grad() 
	loss.backward() 
	optimizer.step()