Deep learning
要分清楚是哪里不行,不能把所有的都归结于欠拟合.
在training set上的no是陷入局部最优的原因.在testing set上的no才是overfitting的原因.
Dropout
在testing data结果不好的时候才能使用dropout,在testing data结果好的时候,使用了dropout,结果会越来越差.
通过这个可以知道,处理问题的时候,要对症下药.
Vanishing Gradient Problem
我的理解是:network越深,经过越多的sigmoid变化,前面的参数调整对后面的output的影响越小,所以梯度问题会逐渐消失.
激活函数(ReLU)
引入之后,会将out为0的神经元舍掉,这样network就会变成linear network,就不会出现递