《Deep Learning from Scratch》·第一集：基本概念

★深度学习，有时也称为【端对端机器学习】。

端对端是指从一端到另外一端的意思，

- - - 即：从原始数据（输入）中获的目标结果（输出）的意思。

 

★损失函数是表示神经网络性能的“恶劣程度”的指标，

- - - 即当前的神经网络对监督数据在多大程度上不拟合，在多大程度上不一致。

理论上，任意的函数都可以作为损失函数。常用的损失函数有均方误差、交叉熵误差。

 

★mini-batch学习：

从全部数据中选出一部分，作为全部数据的“近似”。

神经网络的学习是从训练数据中选出一批数据（称为mini-batch，小批量），然后，对每个mini-batch进行学习。

- - - 例如，以MNIST数据为例。从6万个训练数据中随机选出100笔，再用这100笔数据进行学习。

mini-batch的作用：利用随机选择的小批量（mini-batch）数据作为全体训练数据的近似值。

 

★★为何要设定损失函数？

以数字识别为例。

我们的目标是获得识别精度尽可能高的神经网络。那么，我们为啥不以识别精度作为指标？？-★-

在神经网络学习中，寻找最优参数时，要寻找使得损失函数的值尽可能的小的参数。因此，需要借助导数进行更新迭代。

- - -★不能使用识别精度的原因★：1、因为绝大多数地方的导数都会变成0，导致参数无法更新。2、间断的，突然地变化。对于微小的参数变化不起反应。阶跃函数亦是如此。