![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 94
小声逼逼
这个作者很懒,什么都没留下…
展开
-
[持续学习] Fisher信息矩阵与EWC
文章目录一、前置知识1. 得分函数 score / informant2. Fisher信息矩阵二、EWC1. 数学推导2. 如何计算 Fisher 信息矩阵一、前置知识1. 得分函数 score / informantscore / informant 定义为对数似然函数关于参数的梯度:s(θ)≡∂logL(θ)∂θs(\theta) \equiv \frac{\partial\log{\mathcal{L}(\theta)}}{\partial\theta}s(θ)≡∂θ∂logL(θ)原创 2021-05-07 18:12:17 · 7399 阅读 · 5 评论 -
关于交叉熵(Cross Entropy)与Softmax
目录写在前面KL散度交叉熵Softmax交叉熵与Softmax的关系交叉熵损失Softmax的求导堆叠+向量化其他关于Softmax函数的问题赠品写在前面Softmax、交叉熵、交叉熵损失是机器学习与神经网络模型的重要组成部分,一般来说,Softmax一般用于criterion(标准),交叉熵与交叉熵损失用来衡量模型预测与实际结果间的差别并产生用于反向传播的梯度。...原创 2018-08-20 17:51:19 · 4648 阅读 · 0 评论