数学基础
关注
分享
扫一扫
码农的科研笔记
这个作者很懒，什么都没留下…
展开
-
一文彻底搞懂信息熵、相对熵、交叉熵和条件熵（含例子）
熵：就是描述信息的不确定的程度，统计学中，对事件的发生情况可以通过概率P定量的描述出来，熵也是一种统计学定量描述，是对信息的不确定程度的描述，这种描述也是通过“概率P”来描述的。对于某个事件的信息熵的计算公式如下：式中X代表事件，事件X的发生存在n中可能性，当我们知道每一种可能性情况下的发生概率值时，就能通过上式子计算得到信息熵值。【例子】序号 事件 ...原创 2018-10-10 17:02:14 · 7660 阅读 · 3 评论 -
深度学习激活函数 和 优化函数总结
1、SGD,Momentum,Adagard,Adam原理？【第一张图为不同算法在损失平面等高线上随时间的变化情况】【第二张图为不同算法在鞍点处的行为比较。】SGD(Stochastic Gradient Descent)(随机梯度下降)【意义】单纯的梯度计算容易得到局部最优解，这个时候引入随机变量能很好的在保证梯度下降大体方向情况下得到最优解。也就是说，虽然包含一定...原创 2019-04-20 10:16:00 · 1094 阅读 · 0 评论