![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
m0_47197801
这个作者很懒,什么都没留下…
展开
-
2021-06-08
为什么神经网络要归一化1.非线性效果如果不使用归一化,如果是tansig(w1x1+w2x2+b1)其中w1x1+w2x2+b1的范围在-1.7到1.7的非线性效果较好,不使用归一化就无法控制w1x1+w2x2+b1的范围,进而无法控制神经元是否有效。2.反向传播反向传播中输入层到隐层的权值梯度2ew(1-a^2)*x的形式(e是誤差,w是隐层到输出层的权重,a是隐层神经元的值,x是输入),如果x特别大或者特别小就会出现梯度爆炸和梯度消失的问题。...原创 2021-06-08 21:05:06 · 63 阅读 · 0 评论 -
信息量,信息熵,信息增益概念的理解和计算
信息量,信息熵,信息增益概念的理解和计算信息量信息熵信息增益条件熵你好!让我们聊一聊 信息量,信息熵,信息增益的概念和公式,这对以后学习决策树会有很大的帮助。信息量某个具体事件发生的产生的信息量往往和他发生的概率成反比,即发生的概率越小,产生的信息量越大。信息熵信息熵是随机变量所有取值的均值之和,信息熵是正数,信息熵越小,表示事情的不确定性越小,熵的计算公式如下:信息增益信息增益=信息熵-条件熵信息熵指在一个待分类集合熵值条件熵指在一个按照某个特征分类后,分别计算每个类别的熵值,按照特征原创 2021-04-27 12:18:43 · 2481 阅读 · 0 评论