神经网络的代价函数与梯度下降算法

代价函数：

解释：

w是权重；b是偏置；n是训练输入的数据的个数；

a表示输入为x时的实际输出，是w和b的函数；

y是输入为x时的预计输出；x是输入；

||v||是指向量v的模

理解：

代价函数，可以大致理解为是在计算实际输出与预计输出之间差的和的平均值，是为了衡量实际与预期差距的一个函数所定义的。也就是为了使得实际输出结果靠近预计输出结果，那么，就需要代价函数接近于0（代价函数大于等于0），所以之后的操作就是要调整w和b使得代价函数接近于0，也就是实际输出接近于预计输出。（训练训练集的目的）

梯度下降算法：

目的：

为了最小化代价函数，使得代价函数取得最小值，这个时候就可以使得实际输出最大化的接近预计输出，以达到目标。

理解

梯度下降算法的意思是指比如一个小球滚落，那么最终一定会到达底部，这时候，就是我们要求取的最小值。而这个函数可能涉及一个、两个或者更多个变量。每一个变量的微小的变化都对代价函数起作用，在微积分中学过，代价函数的变化量可用如下公式表示：