深度学习座下的四大神兽:计算能力、算法、数据、场景

转载 2016年08月29日 17:39:47

1

如今越来越多的人愿意和自己的虚拟私人助理交谈,只需要动动嘴就可以让Siri/Alexa/Rokid帮你完成发微信、订车票、设闹钟这样的闲事,还能提醒你吃药、开会,这样一个不需要付工资的贴心小棉袄怎么会不受喜爱呢?虚拟助理正在一步步接近现实中的私人助理,而背后支持它的正是深度学习的技术除了虚拟助理之外,深度学习技术还将是未来计算机视觉、自动驾驶、语音识别等多个领域的核心技术。而深度学习实践的四个关键要素:计算能力、算法、数据和应用场景,就像四大护法神兽一样保证了深度学习的应用和实践,缺一不可。

深度学习是以不少于两个隐含层的神经网络对输入进行非线性变换或表示学习的技术,通过构建深层神经网络,进行各项分析活动。深层神经网络由一个输入层,数个隐层,以及一个输出层构成。每层有若干个神经元,神经元之间有连接权重。每个神经元模拟生物的神经细胞,而结点之间的连接模拟神经细胞之间的连接。总结起来是这个样子的:

这种流向图的一个特别属性是深度(depth):从一个输入到一个输出的最长路径的长度。深度学习并非一个新的概念,但在2006年由Hinton等人引领了一波爆发。然而近年来虽然许多人都在谈论深度学习,但这项技术在实际应用时到底有哪些坑?创办一家成熟的依赖深度学习的公司需要哪些要素?以下是我们的看法:

计算能力

首先,深度神经网络复杂,训练数据多,计算量大。深度神经网络中神经元多,神经元间连接数量也相当惊人。从数学的角度看,每个神经元都要包含数学计算(如Sigmoid、ReLU或者Softmax函数),需要估计的参数量也极大。语音识别和图像识别应用中,神经元达数万个,参数数千万,模型复杂导致计算量大。所以计算能力是深度学习应用的基础。

不仅如此,计算能力还是推动深度学习的利器,计算能力越强,同样时间内积累的经验就越多、迭代速度也越快,百度首席科学家吴恩达博士认为深度学习的前沿正转移到高性能计算(HPC),这也是他目前在百度的工作重心之一,吴博士认为深度学习上的很多成功得益于主动地追求可用的计算能力,2011年Jeff Dean(谷歌第二代人工智能学习系统Tensorflow的设计者之一)创立并领导了谷歌深度学习小组,使用谷歌云扩展深度学习;这使得深度学习得以推向工业界。在2013年,科茨博士等人建立了第一个HPC式的深度学习系统,可扩展性提升了1-2个数量级,使深度学习有了革命性的进步——计算能力这种对于深度学习的支撑与推动作用是不可替代的。

目前这方面技术处于领先地位的还是像百度、谷歌这样的大型互联网公司,当然也有一些初创公司在该领域颇有成就,由百度深度学习研究院负责人余凯博士设计的深度神经网络芯片相比传统的CPU芯片能够支持深度神经网络中图像、语音、文字、控制等方面的任务而不是去做所有事情,这样比在CPU上用软件要高效,会提高2-3个数量级。

算法

在计算能力变得日益廉价的今天,深度学习试图建立大得多也复杂得多的神经网络,我们可以把算法理解为深度学习的神经网络或是计算思维,这种神经网络越复杂,捕捉到的信号就越精确,目前比较常见的算法包括深度信念网络(Deep Belief Networks)、卷积神经网络(ConvolutionalNeural Networks)、受限玻尔兹曼机(Restricted BoltzmannMachine)和堆栈式自动编码器(Stacked Auto-encoders),以深度卷积神经网络为代表的监督学习方法目前来说是最有效也是使用最多的。

但目前问题在于大家把专注度放在了数据与运算,因为神经网络本身差异不会很大,并且神经网络的核心算法提升起来太困难,仍然面临着像局部最优问题、代价函数与整个神经网络系统的设计等问题,但这也给众多创业公司以新的思路,何不反其道而行之,避开那载着千军万马的“独木桥”,如果能将算法优化,前途也是不可限量的。

数据

如今深度学习正迅速成为高级数据分析领域的热门话题,而数据的绝对量是促进深度学习工具和技术发展的一个关键因素。Affectiva的首席科学家和研究部总监DanielMcDuff表示,新兴公司积累了足够的数据后,技术才能更好地发挥作用。对于那些深度学习的应用,不仅开发时需要大量的数据训练、完善,在产品推广之后更加需要实时用户数据,不断进行迭代、更新。

中国在深度学习的竞争中还是有很大机会,可获取的互联网数据,以及低成本的众包劳动,将为中国公司带来海量的数据和极低的数据标注的成本。但是国内市场面临的问题在于大量数据都被BAT等互联网巨头控制,初创公司很难拿到数据去完善、更新深度学习的神经网络,尤其是在产品推出之后,还有可能面临大公司的恶意排挤,获取数据更是难上加难,不说是夹缝中求生存也差不多了吧。

应用场景

深度学习技术目前应用的场景不多,最普遍也是最成功的领域就是语音识别和图像处理这两个应用场景了,之前提到的三大神兽——计算能力、算法和数据属于开发端,应用场景则属于消费端层面,随着未来深度学习技术的不断发展以及用户的需求提升,深度学习的应用场景将越来越多,比如许多智能手机内置的人脸识别功能来对照片进行分类,已经可以达到相当的准确率;支付宝等金融工具也很可能采用人脸识别以提高安全性……未来的深度学习一定不仅仅局限于语音识别和图像识别这两个领域,还有更多的可能性。对于那些初创公司来说,与其和谷歌、Facebook、Amazon、BAT等拥有十多年数据沉淀的大公司竞争这一成熟市场,还不如去发展属于自己的某一片小天地。

如今深度学习的火爆程度不弱于任何其他的领域,互联网巨头们都在想方设法分这块蛋糕,事实上想要做好深度学习计算能力、算法、数据、应用场景这四大护法神兽缺一不可,而BAT等巨头在这些方面都占尽资源上的优势,对于初创公司来说很难四点兼顾,尤其是数据方面,所以利用自身的比较优势抓住其中一点进行创新,无论是计算能力、算法还是应用场景上,只要有创新之处,就能帮助你在市场中掌握主动权。

【深度学习-CNN】CNN中的参数与计算量

一个卷积神经网络的基本构成一般有卷积层(convolutional layer)、池化层(pooling layer)、全连接层(fully connection layer)。本文以caffe中的L...
  • dzkd1768
  • dzkd1768
  • 2017年05月26日 09:54
  • 4835

汤晓鸥谈深度学习三大核心要素:算法设计、高性能的计算能力以及大数据

汤晓鸥谈深度学习三大核心要素:算法设计、高性能的计算能力以及大数据 2017-05-21 15:02:28    深度学习    0 0 0 昨日(5月20日),香港中文大学...
  • starzhou
  • starzhou
  • 2017年05月21日 21:31
  • 854

深度学习与神经网络的计算特点与硬件配置分析

目录 1 深度学习训练平台与理想计算架构 2 深度神经网络计算特点与硬件配置分析 3 UltraLAB GXM图灵工作站与配置推荐 (一)深度学习训练平台现状与完美计算架构 深度神经网络(DNN...
  • Qingfeng_915938629
  • Qingfeng_915938629
  • 2017年04月17日 16:02
  • 2294

利用高性能计算加速深度学习算法

深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。深度学习典型应用为图像识别和语音识别。GPU正在以大大超过摩尔...
  • zhang0311
  • zhang0311
  • 2015年10月28日 14:17
  • 7715

MATLAB深度学习CNN包计算次数统计

MATLAB深度学习CNN包计算次数统计以及使用OPENCL的必要性分析
  • qq_20028731
  • qq_20028731
  • 2017年04月19日 20:54
  • 423

机器学习算法应用场景实例六十则

本文整理了60个机器学习算法应用场景实例,含分类算法应用场景20个、回归算法应用场景20个、聚类算法应用场景10个以及关联规则应用场景10个。包含了天池、DataCastle、DataFountain...
  • liulingyuan6
  • liulingyuan6
  • 2016年12月14日 22:19
  • 13878

机器学习_统计学习_深度学习的一些公式

1.
  • u010155023
  • u010155023
  • 2016年11月02日 10:05
  • 516

5.0 深度学习之公式详细推导Softmax和Overfitting

softmax这个结果就可以描述为每个类的概率 故,不会造成学习慢! Overfitting 例如我们利用1000个数据作为训练,表现出的情况: Cost表现看起来还不错,Test的变...
  • u011507206
  • u011507206
  • 2016年12月10日 10:52
  • 1144

深度学习(三十六)异构计算CUDA学习笔记(1)

二、CUDA编程步骤: 1、设置显卡编号:cudaSetDevice; 2、为显卡开辟变量内存:cudaMalloc; 3、把cup上的数据拷贝到GPU上:cudaMemcpy; 4、调用内核函数__...
  • hjimce
  • hjimce
  • 2016年05月26日 12:33
  • 4700

深度学习座下的四大神兽:计算能力、算法、数据、场景

如今越来越多的人愿意和自己的虚拟私人助理交谈,只需要动动嘴就可以让Siri/Alexa/Rokid帮你完成发微信、订车票、设闹钟这样的闲事,还能提醒你吃药、开会,这样一个不需要付工资的贴心小棉袄怎么会...
  • mousever
  • mousever
  • 2016年08月29日 17:39
  • 1801
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习座下的四大神兽:计算能力、算法、数据、场景
举报原因:
原因补充:

(最多只允许输入30个字)