mxnet
gaussrieman123
喜欢新技术与老故事。
展开
-
mxnet 学习率设置详解
学习率目前深度学习使用的都是非常简单的一阶收敛算法,梯度下降法,不管有多少自适应的优化算法,本质上都是对梯度下降法的各种变形,所以初始学习率对深层网络的收敛起着决定性的作用,下面就是梯度下降法的公式ω:=ω−α∗ααωloss(ω) \omega:=\omega - \alpha * \frac{\alpha}{\alpha \omega}loss(\omega)ω:=ω−α∗αωαloss...原创 2019-08-13 15:42:22 · 2323 阅读 · 3 评论 -
mxnet中的SoftmaxCrossEntropyLoss损失函数
在看mxnet的Loss函数源码的时候,发现SoftmaxCrossEntropyLoss的实现很有意思,记录一下。SoftmaxCrossEntropyLoss概念性的东西,可以参考此文p = softmax({pred})L = -\sum_i \sum_j {label}_j \log p_{ij}调用实例如下:import mxnet.gluon.loss as gloss...原创 2019-08-29 17:16:16 · 3287 阅读 · 1 评论