稀疏自编码器_自编码(AutoEncoder)模型及几种扩展之二

4. 稀疏自编码

假设我们只有一个没有类别标签的训练样本集合{x(1),x(2)...},一个自编码神经网络就是一种非监督学习算法，它使用BP算法，并将目标值设为： y(i)=x(i)。

我们的目标是希望得到hW,b(X)≈x。用aj(2)(x)表示输入向量x对隐藏层单元j的激活值。则j的平均激活值：

为了达到稀疏性，也即用最少（最稀疏）的隐藏单元来表示输入层的特征(也即，对每一个输入X, 其特征表示是稀疏的），我们希望所有隐藏层单元平均激活值接近于0.于是应用KL距离：

其中为了方便书写：

其中，

是稀疏参数，一般来说选一个很小的数，如0.05。

这样，神经网络整体代价函数就可以表示为：

，其中J（W,b）是BP自身的损失函数，预测损失+参数L2正则（减小权重的幅度，防止过度拟合）

这样，一个稀疏自编码器就完成了。

代码：

Sparse自编码 Autoencoder， 基本按照标准公式实现

##### 设置网络参数 #####
p = 0.05  # 使大部分神经元的激活值（所有神经元的激活值的平均值）接近这个p值
beta = 3  # 控制KL散度所占的比重

input_dim = 784
encoding_dim = 64
lambda_val = 0.001  # J(W,b)自带的对W进行的L2正则，weight decay

epochs = 50
batch_size = 1024


# 自定义正则项函数, 计算KL散度
def sparse_reg(activity_matrix):
    activity_matrix = K.softmax(activity_matrix, axis=0)  # 把激活值先用softmax归一化
    p_hat = K.mean(activity_matrix, axis=0)  # 将第j个神经元在batch_size个输入下所有的输出激活值取平均
    print('p_hat=', p_hat)
    KLD = p*(K.log(p/p_hat))+(1-p)*(K.log((1-p)/(1-p_hat)))  # 计算KL散度
    print('KLD=', KLD)
    return beta*K.sum(KLD)  # 所有神经元的KL散度相加并乘以beta


input_img = Input(shape=(input_dim,))


h = Dense(
    encoding_dim,
    activation='relu',
    kernel_regularizer=regularizers.l2(lambda_val/2),
    activity_regularizer=sparse_reg)(input_img)

r = Dense(
    input_dim, activation='sigmoid',
    kernel_regularizer=regularizers.l2(lambda_val/2),
    activity_regularizer=sparse_reg)(h)



# sparse AE模型
autoencoder = Model(inputs=input_img, outputs=r)
autoencoder.compile(optimizer='adam', loss='binary_crossentropy')
#输出模型结构
print(autoencoder.summary())

# 注意：输出是干净的X_train
history = autoencoder.fit(X_train, X_train, batch_size=batch_size, epochs=epochs, verbose=1, validation_data=(X_test, X_test))


#编码过程： 取出编码部分
conv_encoder = Model(input_img, h)
#在测试集上进行编码输出，输出图形的编码形式（64维度)
encoded_imgs = conv_encoder.predict(X_test)

n = 10
plt.figure(figsize=(20, 8))
for i in range(n):
    ax = plt.subplot(1, n, i+1)
    plt.imshow(encoded_imgs[i].reshape(4, 16).T)
    plt.gray()
    ax.get_xaxis().set_visible(False)
    ax.get_yaxis().set_visible(False)
plt.show()


#解码过程：
#Predict on the test set
decoded_imgs = autoencoder.predict(X_test)

生成的编码图像(64维）

变稀疏了吗?