“深度学习”这个词,既是一个人工智能的研究领域,也概括了构建人工神经网络的技术方法。2012 年的 AlexNet,2015 年的 Google Inception V3 级数式地打破 ImageNet 计算机视觉比赛的最高纪录,2017 年亮相的 AlphaGo 更是掀起了全球的深度学习风暴。
在 Google,深度学习系统被应用在预测广告的点击率、推荐用户可能喜爱的视频、生成更接近人类的机器发声、自动生成邮件回复等几乎所有产品线。
很多人并不理解深度学习技术,我经常见到这样几种误区:
1、觉得深度学习是最近几年才兴起的技术;
2、觉得深度学习只是一个技术时髦(就像今年流行 Python,明年流行 Go 语言一样);
3、觉得深度学习只是算法模型。要打破这些误区,我们必须深刻地理解超大规模数据在深度学习的发展中到底扮演了一个怎样的角色。
大规模数据在深度学习发展中扮演的角色
事实上,类似于模拟神经网络的计算机方法早在 20 世纪 60 年代就被提出来了。当时通信领域大神香农也在神经网络领域有所涉猎。但是在 60 年代到 90 年代的几十年间,深度学习虽然想法新颖、听起来很好,但是在实际上,人们发现以当时的计算能力根本没法训练神经网络。反而是像决策树,SVM 等非神经网络的方法大放异彩。所以,从 20 世纪下半叶到 2010 年代究竟是什么让深度学习成了世界的焦点呢?一根火柴是点不着的,只有把一根火柴扔进汽油罐里里才会爆炸。想要知道这个答案,我们需要结合技术发展的背景来看最近的十年有哪些改变?芯片技