![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
数学基础
文章平均质量分 68
数学基础
June vinvin
simple but not simple
展开
-
交叉熵损失函数原理和推导
目录一 交叉熵原理1 信息量2 信息熵(熵)3 相对熵(KL散度)4 交叉熵5 小结二 推导1 Logistic交叉熵损失函数2 Softmax交叉熵损失函数附录 求导公式和法则一 交叉熵原理1 信息量信息量的大小与信息发生的概率成反比。公式如下:I(x)=−log(P(x))I(x)=-log (P(x))I(x)=−log(P(x))其中,I(x)I(x)I(x)为信息量,P(x)P(x)P(x)为某一事件发生的概率2 信息熵(熵)信息熵用来表示所有信息量的期望。公式如下:H(X)=原创 2021-09-28 12:51:24 · 1024 阅读 · 0 评论 -
矩阵微分推导
1.函数实质:空间到空间的映射。不同空间相互映射的函数类型如下:常见映射:标量、向量(n 维)、矩阵(mxn 维)到标量、向量(n 维)、矩阵(mxn维)2.导数和微分标量到标量映射的导数和微分:向量/矩阵为变量的函数导数与微分各种导数的定义都是用因变量的各分量对自变量的各分量计算偏导,然后将计算出来的 N 多结果以某种形式表达,通常是以向量或矩阵形式表达。向量或矩阵的具体组织方式称为布局,不同的布局计算得到的公式是有差别的,因此必需有个约定。3.向量/矩阵导数和微分的布局两种基原创 2021-09-22 11:47:00 · 914 阅读 · 0 评论