吴恩达deep learning笔记 week1

为什么深度学习近些年来取得如此大的进步？

我们从下图可以得到一些答案

如图，横轴是数据量的大小，轴承是模型的表现
我们可以看到，传统的机器学习模型在数据量较小时，随着数据量的增加，性能会快速得到提升，但是当数据量超过一定量时，再提升几乎对效果不再有任何提升。
而神经网络模型，随着数据量的继续加大，当传统机器学习模型失效时，它的效果仍然在不断提升，而且模型越复杂，可接受的数据量越大。

这从数据规模和模型复杂度两个角度解释了为什么深度学习模型要优于传统机器学习模型。我想还有另外一个原因，就是神经网络能够自己抽取特征，只要我们放进input data它会自动抽取输入的特征，尽管这些特征我们人类还无法很好的理解。

另外想记录的一点是，激活函数，我们知道Sigmoid函数的函数形态，会导致input的绝对值很大时，它的梯度很小接近于0，也就是梯度消失，导致训练非常慢。有位大神提出了新的激活函数Relu 它的数学表达式$max(0,x)$ 即input小于0的部分为0，大于0的部分为斜线，由于它有半部分梯度永远为1，所以训练的速度非常快。