余凯在清华的讲座笔记

本文是余凯在清华大学关于深度学习的讲座笔记,内容涵盖深度学习兴起的原因,浅层与深层模型的对比,百度在深度学习领域的应用与成果,以及深度学习面临的挑战和未来发展趋势。重点讨论了深度学习如何自动提取特征,改变传统特征工程,并在语音识别、图像处理等方面取得显著进步。
摘要由CSDN通过智能技术生成

2014.4.4,余凯在清华FIT楼做了“Deep Learning Unfolds the Big Data Era”的讲座。感觉这个讲座还是比较high-level的,毕竟90分钟也很难把这么大的问题讲清楚。


根据我的理解,讲座主要分成4部分:

1. Deep Learning怎样被工业界看重并火得一塌糊涂;

2. 分析了一下shallow model和deep model的区别;

3. 介绍了百度在DL方面的研究和产品;

4. DL的发展趋势,百度可能的发展方向。


第一部分:DL是怎么火起来的


余凯首先以百度为例讲了深度学习的重要性:百度的商业模式是搜索引擎+卖广告,而机器学习算法能够将广告与潜在用户进行精准匹配,帮百度赚钱,turn data into value。在这方面百度需要解决的问题包括:自然图像中的光学字符识别(OCR in natural images)、语音识别(speech recognition and understanding)、基于内容的图像检索(content-based image retrieval。尤其是鉴于最近可穿戴设备的快速发展,语音识别可能在未来扮演非常重要的角色。


随后他又画了那张很出名的技术发展的曲线,即先升后降再稳步提升。现在处于第一个上升期的代表包括3D打印、自动驾驶等等,第二个上升期的则是虹膜识别等等。


现在DL为什么这么火呢?06年Hinton的文章通过pre-training较好地解决了多层网络难以训练的问题,重新唤起了人们对于neural network的兴趣。但更重要的是在随后的几年里,人们利用DL模型在语音识别和图像分类上获得了突破性的进展。之所以说是突破性的,是因为其性能提升之大是以往小修小补远不能及的。尤其是在图像领域,DL算法甚至不需要human engineered feature,直接以原始像素作为输入就行。这改变了以往人们对于特征提取的认识。套用邓侃的一句话就是:

评论 17
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值