DeepLearning
深度学习
ZJE_ANDY
这个作者很懒,什么都没留下…
展开
-
损失函数之-----L1 loss和L2 loss和smooth L1 loss -----用于回归任务
1. L1 loss:公式和求导公式:(带绝对值求导时,先去掉绝对值符号,再分情况求导) 一个batch的形式:L1 loss 图形和求导图形如下:图的底部是预测值和label的差值。 我们可以看到L1 loss的底部是尖的。底部是不存在导数的。而在其他地方,导数大小都是一样的。优缺点:优点:1. L1 loss的鲁棒性(抗干扰性)比L2 loss...原创 2020-09-08 22:46:06 · 10389 阅读 · 1 评论 -
softmax及其求导过程
1.softmaxsoftmax多用于多分类问题,它会把网络的输出变成概率,公式如下: softmax一般会和交叉熵结合在一起,因为交叉熵的输入是概率,而softmax就可以把网络的输出变成对应等比例的概率。2.softmax求导过程:假设求导时,有如下x: s 为网络输出,第一个输出节点为,第二个为,以此类推第 i 个输出节点为...原创 2020-09-08 10:40:01 · 6212 阅读 · 1 评论