《深度学习入门：基于Python的理论与实现》3

从数据中学习

数据是机器学习的命根子。神经网络的特征就是从数据中学习，即可以由数据自动决定权重参数的值。
下图展示了从人工设计规则转变为由机器从数据中学习的不同方法

神经网络的优点是对所有的问题都可以用同样的流程解决。不论是识别数字，还是识别狗或者人脸，神经网络都是通过不断地学习所提供的数据，尝试发现待求解的问题的模式。

训练数据和测试数据

机器学习中，一般将数据分为训练数据和测试数据两部分进行学习和室验。
首先，使用训练数据进行需学习，寻找最优的参数。
然后，使用测试数据对训练得到的模型进行评价。
之所里这样分类，是因为我们追求的是模型的泛化能力（处理未被观察过的数据的能力）。为了正确评价模型的泛化能力，就必须划分训练数据和测试数据。

损失函数

神经网络的学习效果需要有个评价指标，该指标即损失函数，一般采用均方误差、交叉熵误差等。

均方误差