deeplearning
文章平均质量分 59
ippputeeel
这个作者很懒,什么都没留下…
展开
-
关于Dropout
1.Dropout: A simple way to prevent neural networks from overfitting摘要中提出,对于深度神经网络,过拟合是一个严重的问题,并且对于参数庞大的网络,计算速度很慢,没有办法采用传统的用多个模型集成的方法来解决过拟合。因此提出了Dropout的方法来解决过拟合问题,Dropout的核心是在训练时随机的丢掉一些unit。在训练时,相...原创 2018-07-26 01:18:29 · 737 阅读 · 0 评论 -
正交初始化(orthogonal initialize)
正交初始化:用以解决深度网络下的梯度消失、梯度爆炸问题,在RNN中经常使用的参数初始化方法。https://blog.csdn.net/shenxiaolu1984/article/details/71508892实现代码:def orthogonal(shape): flat_shape = (shape[0], np.prod(shape[1:])) a ...原创 2018-07-26 01:17:33 · 11819 阅读 · 0 评论 -
Batch Normalization
https://www.leiphone.com/news/201611/oykRjZskXc2kByKx.htmlhttps://www.zhihu.com/question/38102762/answer/85238569https://blog.csdn.net/leayc/article/details/77645877BNLSTM实现代码:https://github.c...转载 2018-07-26 01:17:12 · 109 阅读 · 0 评论 -
cross-entropy
1.交叉熵的定义2.交叉熵与信息熵、KL散度的关系信息熵是用来衡量不确定性的。信息量的定义:不确定性越大,所包含的信息量越大;不确定性越小,所包含的信息量定义:为一个随机分布,,当时,所包含的信息量为根据概率分布的性质,,所以, 当且仅当时,;且越大,越小信息熵可以看作是一个概率分布信息量的期望,KL散度(相对熵)是用来衡量两个分布之间的差异,也可以认为是从分布p到...原创 2018-07-21 12:06:19 · 742 阅读 · 0 评论