深度学习——梯度下降实现对感知器的权重优化问题的分析（理论加上梯度下降的代码实现）

一：前言

如果大家对神经网络感知器相关的内容不是很了解的话，可以查看一下我写的另外一篇博客神经网络。这里我们假设我们训练的数据集有$\mu$组数据，每组数据有$i$个输入变量$x_i^\mu$和一个标签值$y^\mu$

1.1 单个神经网络的数学表达式

$$f(x) = \sum_i w_ix_i + b \\ x为一组输入值$$
如果我们仔细分析一下的话，在优化权重的过程中的话，偏移量——b的有无实际上不会影响我们的推导过程的，所以我们将这个数学表达式简化为如下的形式：
$$f(x) = \sum_i w_i x_i$$

1.2 衡量一个感知器的权重是否合适的标准

在实际的神经网络的训练过程中，我们在评判单个感知器是否预测的正确呢？针对单次预测的优劣，我们常常使用的是如下的公式：

$$E = (y - \hat y )^2$$
但是我们在实际的过程中，经常是对整个数据集进行预测，那我们就需要将上述公式转换为如下所示：

E=∑μ(yμ−y^μ)2yμ代表第μ组数据的标签值y^μ代表感知器对第μ组数组的预测值