深度神经网络
神经元(neuron)
权重和偏差
权重表示输入中各元素在决定输出结果中的重要性,偏差是输入的补充项,表示预测输出和标记(label)之间的偏移量。
神经网络结构
向量化
前向传播
从输入层(inout layer)通过隐藏层(hidder layer)一步步计算出输出层(output layer)的结果,神经网络中这样的计算方式被称为前向传播(forward propagation)。
损失函数
深层神经网络
多元分类
通过增加输出神经元的个数可以实现神经网络的多分类(multi-class classification)
反向传播
神经网络通过前向传播输出预测结果,通过反向传播更新网络参数。为了更好的理解反向传播,我们引入一个新的中间变量:
通过引入中间变量,神经网络的反向传播可以用四个重要公式来表示。
梯度下降
CNN