复习

评分函数

一个通过输入数据和权重来计算各标签得分值的函数，例如典型的线性分类器（简单的一元函数）

损失函数（Softmax&SVM）

一个用于对评分函数输出值进行处理，从而得到更好的结果的处理函数

Softmax与SVM相比的输出更加直观，他输出的不只是评分，而是概率

如果参数集的预测与实际情况一致，则计算出来的损失值越低

正则化：用在优化损失函数的一种方法，减少噪声对拟合的影响，避免“过拟合”现象的发生

最优化

策略：随机选取一个权重W，通过迭代来改变W，使得损失值不断减小

梯度：最优化的关键点，描述的是某点处损失函数下降的方向

计算后，所有的梯度都存储再grad中

步长（调参中最重要的参数）：梯度指明了损失函数下降的方向，但是没有指明下降的值，而步长就是定义下降值的

目的是为了找到使得损失函数最小的权重值

反向传播

任何可微分的函数都可以作为门，多个门可以组合成一个门，一个函数也可以拆分成多个门

我们知道正向传播是各节点不断接收输入并输出的过程，但是反向传播与其相反反向传播的意思，我们先计算出最后一层的梯度，然后根据最后一层以前层的梯度关系，反推前一层的梯度，依次进行来算出第一层的梯度

输出层是没有激活函数的

正向传播