自动编码器python_使用Keras完成自动编码器

学习使用Python中的Keras包，利用自动编码器Autoencoder，分析手写字体数据。

首先是准备工作，程序如下：

## 加载包

%matplotlib inline

%config InlineBackend.figure_format='jpeg'

from IPython.display import Image

import numpy as np

import pandas as pd

from keras.models import Model

from keras.layers import Dense, Dropout, Input

import keras as K

from sklearn.preprocessing import StandardScaler,OneHotEncoder

from sklearn import metrics

import matplotlib.pyplot as plt

import seaborn as sns

## 导入数据

(x_train, y_train), (x_test, y_test) = K.datasets.mnist.load_data()

print(x_train.shape)

print(y_train.shape)

print(x_test.shape)

print(y_test.shape)

(60000, 28, 28)

(60000,)

(10000, 28, 28)

(10000,)

数据中一共有60000张28x28的训练数据，10000张28x28的测试数据。因为下面将要使用的层都是全连接层，所以要将每张图像转化为1维向量。

# 图像数据进行预处理

x_train = x_train.astype('float32') / 255.

x_test = x_test.astype('float32') / 255.

## 更改数据尺寸

x_train = x_train.reshape((x_train.shape[0], -1))

x_test = x_test.reshape((x_test.shape[0], -1))

经过变化话，训练集为60000x784的矩阵，测试集为10000x784的矩阵。

搭建自动编码器网络框架

## 使用全连接层进行连接

input_img = Input(shape=(784,))

## encoded部分

encoded = Dense(128,activation="relu",name = "enco1")(input_img)

encoded = Dense(64,activation="relu",name = "enco2")(encoded)

encoded = Dense(32,activation="relu",name = "enco3")(encoded)

encoded = Dense(16,activation="relu",name = "enco4")(encoded)

encoded = Dense(8,activation="relu",name = "enco5")(encoded)

## decoded部分

decoded = Dense(16,activation="relu",name = "deco1")(encoded)

decoded = Dense(32,activation="relu",name = "deco2")(decoded)

decoded = Dense(64,activation="relu",name = "deco3")(decoded)

decoded = Dense(128,activation="relu",name = "deco4")(decoded)

decoded = Dense(784,activation="sigmoid",name = "deco5")(decoded)

## 连接为自编码模型

autoencoder = Model(input=input_img, output=decoded)

autoencoder.summary()

Layer (type) Output Shape Param #

=================================================================

input_1 (InputLayer) (None, 784) 0

_________________________________________________________________

enco1 (Dense) (None, 128) 100480

_________________________________________________________________

enco2 (Dense) (None, 64) 8256

_________________________________________________________________

enco3 (Dense) (None, 32) 2080

_________________________________________________________________

enco4 (Dense) (None, 16) 528

_________________________________________________________________

enco5 (Dense) (None, 8) 136

_________________________________________________________________

deco1 (Dense) (None, 16) 144

_________________________________________________________________

deco2 (Dense) (None, 32) 544

_________________________________________________________________

deco3 (Dense) (None, 64) 2112

_________________________________________________________________

deco4 (Dense) (None, 128) 8320

_________________________________________________________________

deco5 (Dense) (None, 784) 101136

=================================================================

Total params: 223,736

Trainable params: 223,736

Non-trainable params: 0

_________________________________________________________________

上面的自编码器框架中，会将784维的图像编码为8维，然后再解码到784维。在模型编译时，使用逐像素的交叉熵作为损失函数，优化器为adam。

## 使用逐像素的交叉熵作为损失函数，优化器为adam

autoencoder.compile(optimizer='adadelta', loss='binary_crossentropy')

针对0~1范围内的取值进行训练

## 模型训练

autoencoder_fit = autoencoder.fit(x_train, x_train,nb_epoch=100,batch_size=256,

shuffle=True,validation_data=(x_test,x_test),verbose=0)

## 绘制迭代次数和loss之间的关系

## 绘制图像

plt.figure(figsize=(10,6.5))

plt.plot(autoencoder_fit.epoch,autoencoder_fit.history["loss"],"ro-",lw = 2)

plt.plot(autoencoder_fit.epoch,autoencoder_fit.history["val_loss"],"bs-",lw = 2)

plt.grid()

plt.xlabel("Model epoch")

plt.ylabel("binary_crossentropy")

plt.title("Autoencoder")

plt.show()

上面是针对数据进行epoch=100的迭代训练。冰晶损失函数的取值进行可视化。

可以发现，经过100轮的训练后，模型几乎已经收敛。下面获取测试数据集经过编码后的8维特征，并对其进行可视化。

## 计算测试数据的Encoded，并可视化

## 先定义encoder模型作为输出

encoder = Model(input_img, encoded)

## 获取测试集的encoded

encoded_imgs = encoder.predict(x_test)

print(encoded_imgs.shape)

colna = ["feature"+str(ii+1) for ii in range(8)]

encoded_feture = pd.DataFrame(data = encoded_imgs,columns=colna)

encoded_feture["lab"] = ["cla_"+str(i) for i in y_test]

print(encoded_feture.head())

## 使用矩阵散点图可视化自编码的点分布

sns.pairplot(encoded_feture,hue="lab",size=3,diag_kind=None)

plt.title("Encoded feature")

plt.show()

feature1 feature2 feature3 feature4 feature5 feature6 feature7 \

0 12.116272 0.0 12.858566 15.669122 2.838675 10.398287 9.041433

1 1.157638 0.0 5.085598 7.185266 8.355832 4.039139 3.556945

2 4.089868 0.0 16.886538 20.305134 12.612089 17.451355 10.378060

3 12.908182 0.0 6.505641 5.012246 14.547909 6.277741 5.777000

4 18.666761 0.0 12.316364 8.246981 6.462950 10.300065 9.926409

feature8 lab

0 0.0 cla_7

1 0.0 cla_2

2 0.0 cla_1

3 0.0 cla_0

4 0.0 cla_4编码后特征矩阵散点图

下面对比编码前原始图像和解码后的图像，对比前几张图像。

## 可视化对比自编码前后的图像

decoded_imgs = autoencoder.predict(x_test)

n = 10

plt.figure(figsize=(20, 4))

for i in range(n):

# display original

plt.subplot(2, n, i+1)

plt.imshow(x_test[i].reshape(28, 28))

plt.gray()

plt.axis("off")

# display reconstruction

plt.subplot(2, n, i + n+1)

plt.imshow(decoded_imgs[i].reshape(28, 28))

plt.gray()

plt.axis("off")

plt.show()自编码图像前后对比

图像中第一行是原始的图像，第二行是对应的重新编码后的输出图像。上面的处理使用的数据没有经过标准化，下面对数据进行标准化处理，然后使用自编码器进行处理。

数据标准化的自动编码器

## 数据标准化

scale = StandardScaler()

x_train_s = scale.fit_transform(x_train)

x_test_s = scale.fit_transform(x_test)

## 使用逐像素的交叉熵作为损失函数，优化器为adam

autoencoder.compile(optimizer='adadelta', loss='binary_crossentropy')

## 模型训练,使用标准化后的数据

autoencoder_fit = autoencoder.fit(x_train_s, x_train_s,nb_epoch=100,batch_size=256,

shuffle=True,validation_data=(x_test_s,x_test_s),verbose=0)

## 绘制迭代次数和loss之间的关系

## 绘制图像

plt.figure(figsize=(10,6.5))

plt.plot(autoencoder_fit.epoch,autoencoder_fit.history["loss"],"ro-",lw = 2)

plt.plot(autoencoder_fit.epoch,autoencoder_fit.history["val_loss"],"bs-",lw = 2)

plt.grid()

plt.xlabel("Model epoch")

plt.ylabel("binary_crossentropy")

plt.title("Autoencoder")

plt.show()

不知为何损失函数的取值是负值。同样经过100轮的训练，模型收敛。

## 计算测试数据的Encoded，并可视化

## 先定义encoder模型作为输出

encoder = Model(input_img, encoded)

## 获取测试集的encoded

encoded_imgs = encoder.predict(x_test_s)

print(encoded_imgs.shape)

colna = ["feature"+str(ii+1) for ii in range(8)]

encoded_feture = pd.DataFrame(data = encoded_imgs,columns=colna)

encoded_feture["lab"] = ["cla_"+str(i) for i in y_test]

print(encoded_feture.head())

## 使用矩阵散点图可视化自编码的点分布

sns.pairplot(encoded_feture,hue="lab",size=3,diag_kind=None)

plt.title("Encoded feature")

plt.show()

直观上感受，编码得到的8维特征的矩阵散点图，并没有上面的矩阵散点图效果好。

## 可视化对比自编码前后的图像

decoded_imgs = autoencoder.predict(x_test_s)

n = 10

plt.figure(figsize=(20, 4))

for i in range(n):

# display original

plt.subplot(2, n, i+1)

plt.imshow(x_test_s[i].reshape(28, 28))

plt.gray()

plt.axis("off")

# display reconstruction

plt.subplot(2, n, i + n+1)

plt.imshow(decoded_imgs[i].reshape(28, 28))

plt.gray()

plt.axis("off")

plt.show()

第一行为标准化后的图像数据，第二行为自动编码器重建的图像。