本文探讨了深度学习中的一些关键问题，包括训练集与测试集的区分，Dropout技术的适用场景，以及Vanishing Gradient Problem。Dropout在测试数据表现不佳时能改善结果，而在表现良好时可能恶化结果。激活函数ReLU解决了线性网络的梯度消失问题，Maxout则是ReLU的一种扩展。
Deep learning
要分清楚是哪里不行,不能把所有的都归结于欠拟合.
在training set上的no是陷入局部最优的原因.在testing set上的no才是overfitting的原因.
Dropout
在testing data结果不好的时候才能使用dropout,在testing data结果好的时候,使用了dropout,结果会越来越差.
通过这个可以知道,处理问题的时候,要对症下药.
Vanishing Gradient Problem
我的理解是:network越深,经过越多的sigmoid变化,前面的参数调整对后面的output的影响越小,所以梯度问题会逐渐消失.
激活函数(ReLU)
引入之后,会将out为0的神经元舍掉,这样network就会变成linear network,就不会出现递
最低0.47元/天 解锁文章
4000
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
