chapter2深度学习之梯度下降法

2.1Review

• 数字的图像分辨率为28*28像素，每个像素的灰度值在0和1之间，它们决定网络输入层中784个神经元的激活值
• 下一层的每个神经元的激活值等于上一层所有激活值的加权和，再加上偏置，最后将这些输入到Sigmoid或者ReLu之类的压缩函数。
• 随意的选取含有16个神经元的两个隐含层的神经网络，计算出大概需要13000多个权重偏置值需要调整。
• 选取两层结构：数字9第一层识别0，第二层识别1，最后将图像拼接，从而实现手写数字识别

2.2MNIS数据集

• MNIS数据集包含数以万计的手写数字扫描图像及其正确分类

• MNIST数据集第一部分包含60,000张图像用作训练数据。这些图像是来自250个人的扫描笔迹样本，其中一半是美国人口普查局的雇员，一半是高中学生。图像为灰度图像，尺寸为28 x 28像素。

• MNIST数据集的第二部分是10,000张要用作测试数据的图像。

2.3代价函数

• 代价函数可以通过训练得出一个对网络糟糕程度的评分
• 让网络学习的实质是让代价函数的值最小，值最小的代价函数是平滑的

2.4梯度下降法

• 梯度下降算法：找到特定的权重和偏置，从而使代价函数最小化
  
  

• 小球下山模型：球滚下山最快
  
  

• 梯度下降数学表达
  

• 学习率控制“走”幅度
  

• 在梯度下降算法中，处于局部最优解，下一步梯度下降法更新不变，不会改变参数的值

• 线性回归的梯度下降
  
• 多元梯度下降算法
  

sum