深度学习入门-基于python的理论与实现-神经网络的学习

1 如何根据数据训练出最优权重参数？

1.1 从数据中学习

我们知道在神经网络的学习过程中，参数个数是成千上万的，这不可能要求我们自己一个个手动输入，所以这些参数是根据数据设置相应的参数。这就是神经网络的学习。

1.1.1 数据驱动

深度学习与机器学习的联系
深度学习有时候称为端到端机器学习，端到端是从原始数据获得目标结果。
神经网络的一个优点就是端到端的机器学习，从原始数据中学习，与处理的问题无关，只与数据有关。

1.1.2 训练数据与测试数据

训练数据：称为监督数据
泛化能力：处理测试数据的能力
过拟合：只能处理某一个数据集，而无法处理其他数据集，也就是泛化能力过小

1.1.3 损失函数

损失函数是神经网络中所用的指标，这个指标可以用来寻找最优权重参数。
一般：均方误差，交叉熵误差函数

1.1.4 均方误差

1.1.5 交叉熵误差

因为只有t为1时才计算，所以计算量比均方误差小，同时log是个负数的单调递增函数，趋向于0，所以y越大则E的结果越趋向于0，那么其误差结果就越小。

1.1.6 m