Python实现自编码器图像去噪

参考张宏伦的深度有趣系列

自编码器（AutoEncoder）是深度学习中的一类无监督学习模型，由encoder和decoder两部分组成

• encoder将原始表示编码成隐层表示(原始图片表示为三维数组或者四维tensor)
• decoder将隐层表示解码成原始表示
• 训练目标为最小化重构误差(重构误差即损失函数)
• 隐层特征维度一般低于原始特征维度，降维的同时学习更稠密更有意义的表示

自编码器主要是一种思想，encoder和decoder可以由全连接层、CNN或RNN等模型实现
使用Keras，用CNN实现自编码器，通过学习从加噪图片到原始图片的映射，完成图像去噪任务.

准备

用到的数据是MNIST，手写数字识别数据集，Keras中自带
训练集5W条，测试集1W条，都是 28*28 的灰度图
这里我们用IPython写代码，因为有些地方需要交互地进行展示
命令行打开:
在项目路径运行以下命令，启动IPython
jupyter notebook

或者anaconda直接点开jupyter
加载库

# -*- coding: utf-8 -*-

from keras.datasets import mnist
import numpy as np

加载MNIST数据，不需要对应的标签，将像素值归一化到0至1，重塑为 的四维tensor，即张量，1表示颜色通道，即灰度图

(x_train, _), (x_test, _) = mnist.load_data()
#有训练集和测试集,x_train是数组存的数据,后面空出来的是图片上表示的数字,因为并不需要分类所以这里空着即可.
x_train = x_train.astype('float32') / 255.
x_test = x_test.astype('float32') / 255.
#进行归一化为0~1
x_train = np.reshape(x_train, (len(x_train), 28, 28, 1))
#重塑reshape成一个四维的tensor(图片的宽度和高度,个数)
x_test = np.reshape(x_test, (len(x_test), 28, 28, 1))

我在做这个的时候在这里出现了两个错误:
1.运行第一段代码的时候找不到pandas
解决:
C:\ProgramData\Anaconda3\Lib\site-packages 下载pandas-0.24.1-cp35-cp35m-win_amd64.whl
然后在anaconda中先cd到C:\ProgramData\Anaconda3\Lib\site-packages
再pip install pandas-0.24.1-cp35-cp35m-win_amd64.whl测试即可

2. 测试keras的代码时,有minist时显示需要下载minist.npz 下载了多次都无法访问该地址，致使测试搁置。
解决:
下载下来，放在C:\Users\11040.keras\datasets\里面，然后可以运行。

1.添加噪声

添加随机白噪声，并限制加噪后像素值仍处于0至1之间

noise_factor = 0.5
x_train_noisy = x_train + noise_factor * np.random.normal(loc=0.0, scale=1.0, size=x_train.shape)
#添加随机白噪声,是一个正态分布的normal,均值是0,方差是1,数组的size保持和原来一样.
x_test_noisy = x_test + noise_factor * np.random.normal(loc=0.0, scale=1.0, size=x_test.shape)
x_train_noisy = np.clip(x_train_noisy, 0., 1.)
x_test_noisy = np.clip(x_test_noisy, 0., 1.)
#clip保证数据的范围在0~1之间,不能有负的.

看一下加噪后的效果

import matplotlib.pyplot as plt
%matplotlib inline

n = 10
plt.figure(figsize=(20, 2))
#一共有十个图片,大小是20*2
for i in range(n):
    ax = plt.subplot(1, n, i + 1)
#一共一行n列,第i+1个子图
    plt.imshow(x_test_noisy[i].reshape(28, 28))
#把加了噪音的第i个画出来
    plt.gray()
    ax.get_xaxis().set_visible(False)
    ax.get_yaxis().set_visible(False)
#画出来以后把x,y轴隐藏起来
plt.show()

2.模型实现

Keras有两种类型的模型，序贯模型(Sequential)和函数式模型(Model)，函数式模型应用更为广泛，序贯模型是函数式模型的一种特殊情况。
1.搭建sequence连续模型
2.搭建Model模型

定义模型的输入

from keras.layers import Input, Dense, Conv2D, MaxPooling2D, UpSampling2D
//引入了输入层,全连接层,二维卷积,二维池化,二维上采样
from keras.models import Model, load_model
//引入model,模型
input_img = Input(shape=(28, 28, 1,))
//高度 宽度 深度 以及数据的个数(因为不知道所以这里留出来) N*28*28*1

实现encoder部分，由两个3332 的卷积和两个2*2的最大池化组成

x = Conv2D(32, (