手写数字识别项目介绍



#2018-06-28 024709 June Thursday the 26 week, the 179 day SZ
这份文档主要是对项目的总结，应对面试准备的
手写数字识别项目介绍
TensorFlow框架：谷歌开发的开源框架，拿过来用就行。
MNIST是一个TensorFlow自带的手写数字图片数据集。图片包含60000张0-9数字，图片大小为28*28。
系统输入是图片，TensorFlow自带的类把图片转化为长度为28*28=784的一维数组，数组元素对应了图片像素矩阵中的每一个数字。神经网络的输入是特征向量，一维数组可以方便传递给输入层。
ReLU，Sigmoid,tanh激活函数:激活函数去线性化，提升效果；是给神经元添加激活函数和偏置项bias
输入层：特征向量，图片转化为一维数组。
隐藏层：输入层和输出层之间的结构，作用是解决异或运算，有利于特征提取
隐藏层结点个数：隐藏层中神经元个数
Softmax回归处理:神经网络的原始输出不是一个概率值，实质上只是输入的数值做了复杂的加权和与非线性处理之后的一个值而已,
Softmax回归把前向传播算法得到的结果变成了概率分布；称作Softmax层，位于最终输出层之前，原始输出层之后
损失函数：刻画预测值和真实答案的差距
交叉熵损失函数：判断两个概率分布之间的距离,判定实际的输出与期望的输出的接近程度。H(p, q) = -p(x)logq(x) 的和；
输出层：一般是要分类的个数
梯度下降：沿着梯度的反方向，朝着总损失更小的方向更新。参数梯度求偏导数
随机梯度下降：加速训练过程࿰