深度学习 VS 传统的机器学习

转载 2016年10月08日 21:22:22

原文地址:http://blog.csdn.net/u010167269/article/details/52642562


由于和笔者的想法比较相同,特转载,以作记录,也供跟多人讨论



自从 MIT Technology Review(麻省理工科技评论) 将 深度学习 列为 2013 年十大科技突破之首。加上今年 Google 的 AlphaGo 与 李世石九段 惊天动地的大战,AlphaGo 以绝对优势完胜李世石九段。人工智能机器学习、深度学习、强化学习,成为了这几年计算机行业、互联网行业最火的技术名词。

其中,深度学习在图像处理、语音识别领域掀起了前所未有的一场革命。我本人是做图像处理相关的,以 2016 年计算机视觉三大会之一的 Conference on Computer Vision and Pattern Recognition(CVPR) 为例,在 Accept Papers 中,以 “Convolution” 关键词做搜索,就有 44 篇文章。以 “Deep” 为关键词搜索,有 96 篇文章:

这里写图片描述

可以说,以 卷积神经网络(CNN)为代表的方法在图像处理领域已经取得了统治地位。同样的,以 递归神经网络(RNN) 在语音处理方面也大放异彩。

但是在深度学习独领风骚的同时,传统的机器学习算法,如 SVM 慢慢不像十多年前那么火热了,甚至受冷落了,如在上面 CVPR 2016 年 Accept Papers 页面中,搜索 “SVM”,仅仅有 4 篇文章:

这里写图片描述



所以,不禁很多人又这样的疑问,传统的机器学习算法难道就此没落了吗?还有必要去学习吗?

作为一个小硕,入门了这么长时间,我也想发表自己的看法:传统的机器学习算法不会没落,非常有必要去学。

从南大周志华老师的畅销书《机器学习》的目录来看:

第三章:线性模型
第四章:决策树
第五章:神经网络
第六章:支持向量机
第七章:贝叶斯分类器
第八章:集成学习
第九章:聚类
第十章:降维与度量学习
第十一章:特征选择与稀疏学习
第十二章:计算学习理论
第十三章:半监督学习
第十四章:概率图模型
第十五章:规则学习
第十六章:强化学习

深度学习属于神经网络那一章,只占机器学习领域很小的一块。

机器学习发展了二十多年来,已经渗透到很多领域,如 Robotics, Genome data, Financial markets。

而目前,深度学习占据统治地位的多数是在计算机视觉领域、自然语言处理领域。而且深度学习是 data driven 的,需要大量的数据,数据是其燃料,没了燃料,深度学习也巧妇难为无米之炊。如图像分类任务中,就需要大量的标注数据,因为有了 ImageNet 这样 百万量级,并带有标注 的数据,CNN 才能大显神威。

但是事实上,在实际的问题中,我们可能并不会有海量级别的、带有标注的数据。如暑假我在广州参加 CCF ADL70 机器学习研讨班的时候,碰到北京的一个药厂的学友,他们想用机器学习来预测药物对人的影响。但问题是,他们没有那么多的数据,仅仅就几十例,最多上百例的监督数据。据他们跟我介绍,他们就用的是 MCMC(Markov chain Monte Carlo) 的方法。

又比如说,我在研究我们老师的 正颌手术术后面型三维预测模拟及仿真分析 这个项目的时候,也是样本数量非常少,需要用这么少的数据来预测病人在做过正颌手术后面部的变形情况。

以上两种情况是非常常见的,这时候深度学习算法就无能为力,因为小数据下深度学习十分的容易 Overfitting

通过上面的两个例子,我想说的是,在小数据集上,深度学习还取代不了诸如 非线性和线性核 SVM贝叶斯分类器 方法。实际操作来看,SVM 只需要很小的数据就能找到数据之间分类的 超平面,得到很不错的分类结果。

所以,既然能用 Linear regression、Logistic regression 能解决的问题,那这时候还干嘛一定要用深度学习算法呢?况且,机器学习算法中,常常绕不开的 overfitting 问题,所以根据 奥卡姆剃刀原则如无必要,勿增实体。这时候,能用简单的模型解决的问题,就不要用复杂的模型。

同样的,南大周志华老师也认为:即便是大数据,在无需另构特征的任务上也取代不了其他分类器。本质上,将它看作特征学习器比较合适。

所以,虽然深度学习发展如火如荼,但是其他机器学习算法并不会因此而没落。甚至我认为,结合深度学习,其他机器学习算法因此还可能获得新生。我了解的,清华大学的朱军老师 正在开发一个结合贝叶斯方法和深度学习方法的机器学习平台:ZhuSuan(珠算) Project,详情如下:

这里写图片描述



So,该做一个总结了。深度学习算法与传统的机器学习算法,各有利弊,大致如下:

  • 深度学习是 data driven 的,需要大量的数据,而传统的机器学习算法通畅不需要;

  • 深度学习本质上可以看作一个特征学习器,在无需另构特征情况下,传统的机器学习算法已经能够胜任日常的任务;

  • 如无必要,勿增实体。能够简单的模型解决的,不必要上深度学习算法,杀鸡焉用牛刀?

以我非常认同 OpenAITomasz Malisiewicz 大神说的一句话来结束吧:

Dont think about it as Machine Learning vs Deep Learning, just realize that each term emphasizes something a little bit different. But the search continues. Go ahead and explore. Break something.

We will continue building smarter software and our algorithms will continue to learn, but we have only begun to explore the kinds of architectures that can truly rule-them-all.

机器学习深度学习基础

-
  • 1970年01月01日 08:00

相比于深度学习,传统的机器学习算法难道就此没落了吗,还有必要去学习吗?

应 CSDN 运营朋友之邀写了一篇观点文章,作为一个刚刚入门的小硕,虽然不才,但厚着脸皮,发表一下自己浅薄的看法。...
  • u010167269
  • u010167269
  • 2016-09-24 10:53:19
  • 19171

聊聊传统算法系统和机器学习系统的一点不同

这里就简单聊聊传统算法系统与机器学习系统的一点不同。 1  传统算法系统 传统算法系统,是已经给定了一个算法处理逻辑,那么你给我的输入,我按照这个算法处理逻辑进行处理,就能得到...
  • yizhen_nlp
  • yizhen_nlp
  • 2017-04-25 14:51:37
  • 758

有了深度学习,传统的机器学习算法没落了吗,还有必要去学习吗?

深度学习在最近两年非常火爆,它迅速地成长起来了,并且以其疯狂的实证结果着实令我们惊奇。 但深度学习是否真的就取代了传统或者其他机器学习算法了呢?那么,传统的机器学习还有必要去学习吗?以前看到一位同学的...
  • DJY1992
  • DJY1992
  • 2016-10-08 10:56:45
  • 12148

图像分类 | 深度学习PK传统机器学习

原文:Image Classification in 5 Methods  作者:Shiyu Mou  翻译:何冰心 图像分类,顾名思义,是一个输入图像,输出对该图像内容分类的描述的问题...
  • jaccen
  • jaccen
  • 2017-05-20 07:55:14
  • 3794

各种机器学习方法概念

博客转自:http://blog.csdn.net/wds555/article/details/45560757 强化学习(Reinforcement Learning): 所谓强化...
  • u014568921
  • u014568921
  • 2015-05-30 20:02:07
  • 532

深度学习与传统机器学习的关系

对深度学习与传统机器学习的理解
  • qq_27668473
  • qq_27668473
  • 2016-10-22 14:57:21
  • 992

一篇文章搞懂人工智能、机器学习和深度学习之间的区别

概述2015年11月9日,Google发布人工智能系统TensorFlow并宣布开源。这两年在不管在国内还是在国外,人工智能、机器学习仿佛一夜之前传遍大街小巷。机器学习作为人工智能的一种类型,可以让软...
  • xiangzhihong8
  • xiangzhihong8
  • 2017-04-09 21:37:34
  • 13719

机器学习系列(4)_机器学习算法一览,应用建议与解决思路

我们先带着大家过一遍传统机器学习算法,基本思想和用途。把问题解决思路和方法应用建议提前到这里的想法也很简单,希望能提前给大家一些小建议,对于某些容易出错的地方也先给大家打个预防针,这样在理解后续相应机...
  • yaoqiang2011
  • yaoqiang2011
  • 2016-01-06 15:35:17
  • 55583

为什么说深度学习和机器学习截然不同?

[转] http://www.leiphone.com/news/201612/ivLxiAXyHTCqGu0K.html 导语:Andreesen说“软件正在占领全世界”,那么深度...
  • xiangz_csdn
  • xiangz_csdn
  • 2017-01-05 08:51:50
  • 13660
收藏助手
不良信息举报
您举报文章:深度学习 VS 传统的机器学习
举报原因:
原因补充:

(最多只允许输入30个字)