评分函数
一个通过输入数据和权重来计算各标签得分值的函数,例如典型的线性分类器(简单的一元函数)
损失函数(Softmax&SVM)
一个用于对评分函数输出值进行处理,从而得到更好的结果的处理函数
Softmax与SVM相比的输出更加直观,他输出的不只是评分,而是概率
如果参数集的预测与实际情况一致,则计算出来的损失值越低
正则化:用在优化损失函数的一种方法,减少噪声对拟合的影响,避免“过拟合”现象的发生
最优化
策略:随机选取一个权重W,通过迭代来改变W,使得损失值不断减小
梯度:最优化的关键点,描述的是某点处损失函数下降的方向
计算后,所有的梯度都存储再grad中
步长(调参中最重要的参数):梯度指明了损失函数下降的方向,但是没有指明下降的值,而步长就是定义下降值的
目的是为了找到使得损失函数最小的权重值
反向传播
任何可微分的函数都可以作为门,多个门可以组合成一个门,一个函数也可以拆分成多个门
我们知道正向传播是各节点不断接收输入并输出的过程,但是反向传播与其相反反向传播的意思,我们先计算出最后一层的梯度,然后根据最后一层以前层的梯度关系,反推前一层的梯度,依次进行来算出第一层的梯度
输出层是没有激活函数的
正向传播