初学深度学习(一):初试Keras与多层感知机的搭建

初学深度学习(一):初试Keras与多层感知机的搭建

1. 创建环境和安装依赖

Anaconda作为一个Python的发行版，其中包含了大量的科学包和自带环境管理的工具Conda，推荐使用Conda和Pip这两种方式去构建项目。

1.1 创建虚拟环境

Conda是一个开源的软件包管理系统和环境管理系统，用于安装多个版本的软件包及其依赖关系，并在它们之间轻松切换。

现在创建第一个项目所需要用到的环境，我们将该环境命名为dlwork，采用Python3.6版本，打开终端，在命令行中输入 “conda create -n 环境名 python=版本号” 命令创建环境。

    (base) jingyudeMacBook-Pro:~ jingyuyan$ conda create -n keras python=3.6

创建环境完毕后，需要激活已创建的环境，使用“conda activate + 环境名”的方式激活：

    (base) jingyudeMacBook-Pro:~ jingyuyan$ conda activate dlwork

或者使用”source activate + 环境名“的方式进行激活：

    (base) jingyudeMacBook-Pro:~ jingyuyan$ source activate dlwork

1.2 安装依赖

在新的环境下安装jupyter notebook，这边推荐使用“conda install jupyter”命令进行安装：

    conda install jupyter

jupyter notebook安装完毕后，我们继续安装TensorFlow、Keras、OpenCV等一些环境依赖。

需要安装的依赖命令如下：

TensorFlow作为keras的backend，鉴于基础教程，本环境所使用的版本为CPU版本，后面的章节会讲述如何安装和配置GPU环境训练的安装，值得注意的是CPU版本下，使用conda安装的TensorFlow从1.9.0版本开始采用MKL-DNN，速度是与pip形式安装的TensorFlow相比和高达8倍，所以推荐使用conda install命令安装TensorFlow:

    conda install tensorflow

Keras可以作为TensorFlow的顶层Api接口简化了很多复杂算法的实现难度，可以使用更简洁的代码实现神经网络的搭建和训练，安装代码如下：

    conda install keras

OpenCV作为一款跨平台计算机视觉库，它在图像处理方面具有非常强大的功能，值得注意的是，新版的OpenCV4.x的版本与3.x的版本具有较大的差异，采用OpenCV3.4.20的版本：

    pip install opencv-python==3.4.5.20

Pandas是基于NumPy 的一种工具，纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具，安装方法如下：

    conda install pandas

安装完所有需要的依赖后可以使用“conda list”查看当前所安装的依赖情况

    conda list

2. 构建项目

在指定的磁盘路径创建存放当前项目的目录，linux或macos可使用mkdir命令创建文件夹目录，Windows直接使用图形化界面右键新建文件夹即可，例如我们的存放项目的目录名为project01：

   (dlwork) jingyudeMacBook-Pro:~ jingyuyan$ mkdir project01

创建成功后，在dlwork环境下，进入到project01目录下，打开jupyter notebook：

    cd project01
    
    jupyter notebook

新建一个新的ipynb文件，并且进入到文件中

3. MNIST数据集下载和预处理

我们所采用数据集为MNIST手写数字集，收集该数据集的人是“卷积神经网络之父”的Yann LeCun。MNIST数据是由几千张28×28的单色图片组成，比较简单，非常适合深度学习新生入门学习所使用。

3.1 导入相关模块和下载数据

导入所需要使用到的相关依赖模块

import numpy as np
from keras.utils import np_utils
from keras.datasets import mnist
import pandas as pd
import matplotlib.pyplot as plt

Using TensorFlow backend.

导入keras时，如果出现“Using TensorFlow backend.”便表示系统自动将TensorFlow作为keras的backend。

使用mnist.load_data()下载MNIST数据集，初次下载时间会比较长，请耐心等待数据集下载完成。

(X_train_image,y_train_label),(X_test_image,y_test_label) = mnist.load_data()

Windows系统下的数据集会放在C:\Users\XXX.keras\datasets\mnist.npz

Linux和MacOS系统放在~/.keras/datasets/mnist.npz

如果因为网上原因无法下载或者速度过慢，可以直接到本书提供的网盘下载mnist.npz自行放置目录下

3.2 数据预处理

3.2.1 读取数据集的信息

成功下载数据集后，需要重新执行一次读取数据集代码，如果没显示需要下载，则表示读取数据集成功

# 读取数据集中的训练集合测试集
(X_train_image,y_train_label),(X_test_image,y_test_label) = mnist.load_data()

# 查看数据集中训练集合测试集数据的数量
X_train_image.shape, X_test_image.shape

((60000, 28, 28), (10000, 28, 28))

可以看到上述代码输出数据集中的训练集和测试集分别有60000和10000张28×28的单通道图片

3.2.2 查看数据集中图像和标签

为了更方便的理解数据集中所存在的图像与标签直接存在的关系，我们编写可视化脚本来输出图像与标签

# 定义一个可输出图片和数字的函数
def show_image(images, labels, idx):
    fig = plt.gcf()
    plt.imshow(images[idx], cmap='binary')
    plt.xlabel('label:'+str(labels[idx]), fontsize = 15)
    plt.show()

show_image(X_train_image, y_train_label, 4)

可以看到上面的代码查看的是训练集中的第5个数据集中的图像和所对应的标签，均为9。

为了更加方便数据集的查看，我们定义一个遍历多出图的函数

def show_images_set(images,labels,prediction,idx,num=10):
    fig = plt.gcf()
    fig.set_size_inches(12,14)
    for i in range(0,num):
        ax = plt.subplot(4,5,1+i)
        ax.imshow(images[idx],cmap='binary')
        title = "label:"+str(labels[idx])
        if len(prediction)>0:
            title +=",predict="+str(prediction[idx])
        ax.set_title(title,fontsize=12)
        ax.set_xticks([]);ax.set_yticks([])
        idx+=1
    plt.show()

使用show_images_set显示训练集的数据。prediction为传入预测结果数据集，这边暂时为空，idx为需要从第几项数据开始遍历，默认为num=10项

show_images_set(images=X_train_image, labels=y_train_label, prediction=[], idx=0)