- 博客(2)
- 收藏
- 关注
原创 深度学习中Dropout策略
在写系统时候遇到一个问题:模仿的版本在测试阶段,把所有权重乘以一个保留概率(做法1)。而GJH他看的Keras里面测试阶段什么都不做(做法2),所以比较好奇,怎么做法不同?但是随手搜了几个中文博客,都是按做法1来的,训练阶段按保留概率随机生成一个保留矩阵(元素要么0-丢弃,要么1-保留),然后测试阶段所有权重乘以保留概率。在回头看TensorFlow的Dropout函数ht
2017-05-23 16:41:54 3075 2
原创 组内NLP讨论班阶段总结
讨论班进行了三期了,效果比想象的要好很多。但也遇到不少问题:1. 公式推导和编码实现 困惑是在讲解模型过程中,不可避免地涉及公式推导和编码实现。讨论班上是否对公式推导进行讲授,讨论班后是否组织大家进行编码实现这两点把握不准。 理想情况下讨论班应该只是成为一个“引子”,通过大家一起的讨论学习对某一个概念有了大致的了解。在后面学习或者实际应用中碰到该概念或者模型知道它是怎么回事
2017-05-04 22:44:32 961
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人