深度学习中的数学---第三章 神经网络的最优化

1.神经网络的参数和变量

1.参数和变量
从数学上来看，神经网络是一种用于数据分析的模型，这个模型是由权重和偏置决定的。像权重和偏置这种确定数学模型的常数称为模型的参数
数据分析的模型还需要值随着数据而变化的变量
2.神经网络中用到的参数和变量数量庞大
3.神经网络中用到的变量名和参数名
$x_i$表示输入层的第i个神经单元的输入的变量。由于输入层的神经单元的输入和输出为同一值。所以也是表示输出的变量。此外。这个变量名，也作为神经单元的名称使用
$w_{ji}^l$从层L-1的第i个神经单元指向层L的第j个神经单元的箭头的权重。请注意i和j的顺序。这是神经网络的参数
$z_j^l$表示层L的第j个神经单元的加权输入的变量
$b_j^l$表示层L的第j个神经单元的偏置。这是神经网络的参数
$a_j^l$表示层L的地j个神经单元的输出变量。此外这个变量名也作为神经单元的名称使用
4.输入层相关的变量名
5.隐藏层。输出层相关的参数名和变量名
6.变量值的表示方法

2.神经网络的变量的关系式

1.输入层的关系式
$x_i=a_i^l$
2.隐藏层的关系式
{ z 1 2 = w 11 2 x 1 + w 12 2 x 2 + ⋅ ⋅ ⋅ + w 112 2 x 1 2 + b 1 2 z 2 2 = w 21 2 x 1 + w 22 2 x