dropout
文章平均质量分 64
silent56_th
大学生一枚,对机器学习、图像处理感兴趣,偶尔也会刷刷leetcode或者hihocoder。希望在这里可以和大家多多交流,互相学习。
展开
-
CS231n作业笔记2.5:dropout的实现与应用
CS231n简介详见 CS231n课程笔记1:Introduction。 本文都是作者自己的思考,正确性未经过验证,欢迎指教。作业笔记dropout中唯一需要注意的就是为了平衡train与test,通过除以期望值即可。1. 前向传播 if mode == 'train': mask = (np.random.rand(*x.shape)<p) out = x*mask / p原创 2017-01-04 13:38:14 · 2389 阅读 · 0 评论 -
CS231n课程笔记6.2:神经网络训练技巧之Ensemble、Dropout
CS231n简介详见 CS231n课程笔记1:Introduction。 注:斜体字用于注明作者自己的思考,正确性未经过验证,欢迎指教。1. EnsembleKarpathy表示:只要使用Ensemble,就可以得到2%的提升。 Ensemble就是训练多个模型,最后把各个模型的结果取均值。 详情请参考 Hinton Neural Network课程笔记10a:融合模型Ensemble, B原创 2017-03-12 16:42:24 · 3068 阅读 · 0 评论 -
Hinton Neural Networks课程笔记3e:如何利用梯度值训练网络(学习策略和过拟合抑制)
这里只是开了个头,笼统的讲了讲如何利用梯度值训练网络,包括优化算法的部分以及防止过拟合的部分。1. 优化算法的部分这里只提到了三个部分(具体要到第六节才讲):batch相关的抉择、学习率相关的选择、优化算法的选择。 batch相关的选项有online(one case)、mini-batch(some cases)和full-batch(all cases)。那online典型的问题就是zig-z原创 2017-08-27 20:38:54 · 828 阅读 · 0 评论