Deep Learning|神经网络原理学习笔记(4) ：代价函数与梯度下降算法原理模型（超详细）

很久没更新了，上周在忙，于是更新的计划一搁再搁。今天在终于有时间写这一篇。

推一首歌叭，很安静的一首，搭配下雨天食用更佳，网易云可以搜到。
曲名：Zombie 歌手：Ghostly Kisses

❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤❤分割线

在之前的几篇里，我们在介绍原理的同时也讲到了权重$w$和偏置$b$。
那么我们要找到最合适的权重和偏置，就需要引出代价函数的概念。

1 代价函数的引入（损失函数）

1.1 二次代价函数

代价函数是我们在处理机器学习问题时的一个辅助函数。我们构造一个函数，在函数中有样本的真实结果$y(x)$和我们求得的预测结果$a$。我们利用代价函数来不断缩小真实和预测之间的差距，在代价函数达到最小值时完成训练，获得训练好的模型。
代价函数有很多种，我们先给出线性回归中用到的二次代价函数的定义：

式子里$w$代表网络中所有权重的集合，$b$是所有的偏置。$a$是输入为$x$时的输出向量，其值取决于$x$、$w$和$b$。$n$是用于训练的输入样本的个数。
这里的运算可以描述为：先对某个样本 x x