余凯在清华的讲座笔记

2014.4.4，余凯在清华FIT楼做了“Deep Learning Unfolds the Big Data Era”的讲座。感觉这个讲座还是比较high-level的，毕竟90分钟也很难把这么大的问题讲清楚。

根据我的理解，讲座主要分成4部分：

1. Deep Learning怎样被工业界看重并火得一塌糊涂；

2. 分析了一下shallow model和deep model的区别；

3. 介绍了百度在DL方面的研究和产品；

4. DL的发展趋势，百度可能的发展方向。

第一部分：DL是怎么火起来的

余凯首先以百度为例讲了深度学习的重要性：百度的商业模式是搜索引擎+卖广告，而机器学习算法能够将广告与潜在用户进行精准匹配，帮百度赚钱，turn data into value。在这方面百度需要解决的问题包括：自然图像中的光学字符识别（OCR in natural images）、语音识别（speech recognition and understanding）、基于内容的图像检索（content-based image retrieval）。尤其是鉴于最近可穿戴设备的快速发展，语音识别可能在未来扮演非常重要的角色。

随后他又画了那张很出名的技术发展的曲线，即先升后降再稳步提升。现在处于第一个上升期的代表包括3D打印、自动驾驶等等，第二个上升期的则是虹膜识别等等。

现在DL为什么这么火呢？06年Hinton的文章通过pre-training较好地解决了多层网络难以训练的问题，重新唤起了人们对于neural network的兴趣。但更重要的是在随后的几年里，人们利用DL模型在语音识别和图像分类上获得了突破性的进展。之所以说是突破性的，是因为其性能提升之大是以往小修小补远不能及的。尤其是在图像领域，DL算法甚至不需要human engineered feature，直接以原始像素作为输入就行。这改变了以往人们对于特征提取的认识。套用邓侃的一句话就是：