PaddlePaddle学习笔记：识别数字

一、问题

MNIST手写体数字识别，训练数据60000，测试数据10000。

输入：MNIST手写体图片，28*28像素转化为784维向量

输出：图片为第i类数字的概率

二、模型中重要的四个概念

1.全连接：每个神经元都与上一层所有神经元相连

            缺点：参数太多，没有利用像素之间的信息

2.激活函数：线性激活函数每层输出都是上层输入的一个线性组合，也可以定义非线性激活函数y=f(Wx)

  3.卷积：滤波器又称卷积核，与二维图像做卷积操作来提取特征

      主要特征：局部连接与权重共享，使需要学习的参数大大减少，有利于训练较大的卷积神经网络

4.池化：非线性下采样的一种形式，包括最大池化，平均池化

三、三种模型

1.softmax回归模型：将输入层通过全连接得到的特性，通过softmax激活函数进行分类输出

 激活函数可以采用relu(x)=max(0,x)，它速度快，并且能够缓解梯度消失

2.多层感知模型：将输入层连续经过两个全连接隐层，经过输出层softmax函数进行分类

3.卷积神经网络：包含卷积层+池化层，尽可能保留重要的数据，去除多余的数据