在我们学习深度学习的时候,最基本也是最好奇的问题就是:
深度学习和神经网络之前的基础技术理念已经存在大概几十年了,为什么它们现在才突然流行起来呢?
为什么深度学习会兴起?
1.数据量的增长
我们画一个图,在水平轴上绘制出所有任务的数据量;而在垂直轴上,画出机器学习算法的性能。比如说准确率体现在垃圾邮件过滤或者广告点击预测,或者是神经网络在自动驾驶汽车时判断位置的准确性。
为了使这个图更加从技术上讲更精确一点,我在𝑥轴下面已经写明的数据量,这儿加上一个标签(label)量,通过添加这个标签量,也就是指在训练样本时,我们同时输入𝑥和标签𝑦,接下来引入一点符号,使用小写的字母𝑚表示训练集的规模,或者说训练样本的数量,这个小写字母𝑚就横轴结合其他一些细节到这个图像中。
根据图像可以发现,如果你把一个传统机器学习算法的性能画出来,作为数据量的一个函数,你可能得到一个弯曲的线,就像图中这样,它的性能一开始在增加更多数据时会上升,但是一段变化后它的性能就会像一个高原一样。假设你的水平轴拉的很长很长,它们不知道如何处理规模巨大的数据.
如果你训练一个小型的神经网络,那么这个性能可能会像图中黄色曲线表示那样;如果你训练一个稍微大一点的神经网络,比如说一个中等