scores由线性函数得到: 损失函数 Loss function: Softmax —— 交叉熵损失 Cross Entropy Loss 每个样本的损失: SVM —— Hinge Loss 正则项: 总损失= 数据损失+正则项: 损失函数求梯度 gradient Softmax 对weights的梯度:矩阵大小和weights矩阵大小相同 对bias的梯度: 和bias矩阵大小相同,元素都为1。 SVM 对weights的梯度:矩阵大小和weights矩阵大小相同