关闭

[置顶] SVM为什么走下“神坛”?

标签: 机器学习
3619人阅读 评论(9) 收藏 举报
分类:

本文原作者:黄广斌 新加坡南洋理工大学 电子电气工程学院 副教授
原文转载自:https://mp.weixin.qq.com/s/R-y3GIrMEhqU2ivEMABBLw

这里写图片描述

点题:学界发现真理,产业界利用趋势。“神人”就是既发现了真理又掌握了趋势(To find the truth of nature in academic, and to make business and profits by following the trend of technologies in industries.)。

1、历史的惊人巧合

  曾几何时,SVM在神经网络研究和应用中几乎无所不在。SVM是几乎所有有关神经网络计算机视觉期刊会议离不开的重要组成。SVM的最大化分类边界理论不知迷倒了多少科研院所和高科技公司的研发人员,支持向量(Support Vector) 概念本身也衍生出一批批美妙的解释,让人如痴如醉,整整迷倒了一代科研人员。 SVM在研发鼎盛时期上的热度不亚于现在的深度学习研发上的热度。只是处于历史的不同阶段,各种神经网络技术影响力的放大程度不一样,造成的观感和在历史上的沉淀有区别。(图1)

这里写图片描述

图1 - 神经网络历史的魔幻数字“15年”

2、历史的转折

  但是作为一个风向标,今年的在加拿大温哥华召开的世界神经网络会议(International Conference on Neural Networks (IJCNN2016))只有几篇有关SVM的文章了。自从SVM在2004年为世人普遍接受(虽然SVM在1996年正式被提出),在这样的会议上SVM文章通常占多数,甚至达到200-300篇。今年在这个会议上,最热门的两个方向变成了深度学习和超限学习机(ELM)。究其原因,大概有三:1)在中等和大数据学习上,即使问题本身不复杂,SVM也需要大量学习时间,而在复杂大数据学习上,SVM效果普遍不如深度学习;2)在小数据,稀疏数据到中等大数据上SVM的结果不如ELM;3)在理论上SVM又只能提供次优解,我们在2012年发表在IEEE Transactions on Cybernetics上的文章给了证明,而这篇文章自从在IEEE发表后,已经是过去4年各类25万IEEE所发文章中引用率最高的文章 http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-Unified-Learning.pdf

  2011年1月在美国西雅图微软研究院做了一个关于ELM的学术报告。 报告当天早晨临时起意想在报告中加入SVM次优解观点。阐述这个关于SVM次优解观点时,当时正值SVM研发处于历史最鼎盛时期,当时没有多少人听说过深度学习和ELM, 微软一批SVM专家级粉丝很难接受我提出的SVM次优解观点,虽然他们现在普遍认可SVM基本走出历史舞台。

3、SVM的历史贡献

  然而SVM作为一个特殊的神经网络学习算法有伟大的历史意义,没有它神经网络历史和机器学习历史也许会停顿10年发展。它在上世纪90年代末到本世纪前10年,当大家对神经网络失去信心时,近乎孤独地带领神经网络和机器学习界又往前走了15年,实现了一批有历史影响力的应用。也许这15年为后来的神经网络发展提供了宝贵的历史连续性,否则人们也许会发现神经网络历史发展存在可惜的空窗期。

4、历史:学界的“跟风文化”和产业界的“趋势利润法则”

  SVM的教训也是深刻的,当大家普遍被SVM的最大化分类边界理论概念吸引时,却几乎无人去怀疑这个理论的局限,直到我们2012年关于SVM次优解理论文章的发表。一个小插曲是:2010年和清华大学合作申请项目时,收到的项目申请评语说:“居然还有比SVM快和准的算法,这是不可能的”,当然项目申请也是不可能成功的。

  机器学习需要科学系统地研究,否则一味的跟风只会让大部分人从一个坑跳向另一个坑。由于数据和应用的越来越复杂,这样的“坑”只能越来越大,但这并不影响工程应用和众多的新产品的推出。有能力的领头企业和集团就会顺势巧妙地运用这个“坑”的艺术,实现利益的最大化和领导角色,也会及时跳出坑,找到下一个弹跳点。

做个简短总结:

  学界发现真理,产业界利用趋势。“神人”就是既发现了真理又掌握了趋势(To find the truth of nature in academic, and to make business and profits by following the trend of technologies in industries.)。


扫描燕哥微信号,拉你进机器学习大牛群。福利满满,名额已不多……

这里写图片描述

我的群里目前包括:清华张长水教授,清华顾险峰教授,北大黄铁军教授,新加坡南洋理工大学黄广斌教授,北交李清勇教授等等……

5
0
查看评论

让LoadRunner走下神坛(分析lr的,感觉挺好)

Loadrunner无疑是一个强大有力的压力测试工具。它的脚本可以录制生成,自动关联;测试场景可以面向指标,多方监控;测试结果图表显示,拆分组合。相信有人这样想象过:拿着一张性能指标标准列表和测试数据相比较,如同PH试纸一样,遇碱则蓝,遇酸则红,一目了然,之后就可以大声地喊道:我找到了软件系统的性能...
  • yaoxy
  • yaoxy
  • 2009-07-22 10:36
  • 799

让架构设计走下神坛

分享下一些架构设计方面的经验: 1. 什么是架构? 盖一个小楼,其架构简单的说是计算梁和柱子的长度,面积,体积,力度,最大荷载和数量等,那么程序的架构是不是也可以理解成接口,类,各种数据类型,算法之间的仓库呢? 以这个概念为引子,下面详细的说明程序的架构是怎么做起来的. 2.设计...
  • popeer
  • popeer
  • 2010-04-18 11:52
  • 444

走下神坛的项目经理

走下神坛的项目经理  以下的问题,谁看谁解答:  1、很多招聘项目经理的信息上,无异例外的提到:风险控制,以目前国内的开发现状,风险控制是项目经理的责任吗? 你做到了吗  2、对于进度控制,项目工具、理论教条、计划、报告、经验的作用有多大,孰重孰轻,到底是什么是进度控制中的决定性因素。   3、性格...
  • azheng270
  • azheng270
  • 2007-06-04 21:35
  • 571

让LoadRunner走下神坛

 让LoadRunner走下神坛   Loadrunner无疑是一个强大有力的压力测试工具。它的脚本可以录制生成,自动关联;测试场景可以面向指标,多方监控;测试结果图表显示,拆分组合。相信有人这样想象过:拿着一张性能指标标准列表和测试数据相比较,如同PH试纸一样,遇碱则蓝,遇酸则...
  • mumu210
  • mumu210
  • 2009-04-11 08:47
  • 424

走下神坛的JAVA

<br />换工作后,终于有时间做点自己的事情,这两天正在整理一个自己的java框架,闲暇时看点业界新闻。<br />我认为,JAVA已经走下神坛了。<br />为什么这么说呢?我们要从JAVA的发家史说起。<br />想当年,微软无比强大,其他各大企...
  • coolzyt
  • coolzyt
  • 2010-06-23 22:36
  • 756

让LoadRunner走下神坛

让LoadRunner走下神坛  来自:www.51testing.com  原创作者: sunshinelius [2005/04/12]   Loadrunner无疑是一个强大有力的压力测试工具。它的脚本可以录制生成,自动关联;测试场景可以面向指标,多方监控;测试结...
  • jackei
  • jackei
  • 2005-05-10 15:28
  • 270

杂谈系列:Quality Center为什么走下神坛

既然提及Quality Center,就得先谈Mercury,而既然提及Mercury,就得先谈HP。毕竟是大环境的衰败造就了QC的没落,难道不是吗?   (一)因此,先说HP。   HP原来有三大业务:PSG、IPG、EB,分别是个人电脑,打印和影像设备,企业级业务(软件服务)。PC业...
  • juan0728juan
  • juan0728juan
  • 2014-08-27 10:12
  • 854

[转载]让LoadRunner走下神坛

让LoadRunner走下神坛来自:www.51testing 原创作者: sunshinelius [2005/04/12] Loadrunner无疑是一个强大有力的压力测试工具。它的脚本可以录制生成,自动关联;测试场景可以面向指标,多方监控;测试结果图表显示,拆分组合。相信有人这样想象过:拿着一...
  • SuperEric
  • SuperEric
  • 2005-04-21 01:27
  • 950

让loadrunner走下神坛(全)

作者: sunshinelius(转载请注明作者) Loadrunner无疑是一个强大有力的压力测试工具。它的脚本可以录制生成,自动关联;测试场景可以面向指标,多方监控;测试结果图表显示,拆分组合。相信有人这样想象过:拿着一张性能指标标准列表和测试数据相比较,如同PH试纸一样,遇碱则蓝,遇酸则...
  • xqtesting
  • xqtesting
  • 2014-07-25 12:29
  • 328

走下神坛的Extreme Blue

今天,IBM Extreme Blue 2008年项目终于在钻石大厦落下了帷幕,开香槟,发奖状。仿佛真的毕业了一次一样,HR说鼓励大家写关于EB的东西,看来这个项目本身就有一部分的广告成分是无疑的。不过这样也可以让我无所顾忌地去评论这个项目了。 初次听说Extreme Blue是本科三年级,那个时候...
  • fisher_jiang
  • fisher_jiang
  • 2008-09-13 21:37
  • 960
    机器学习公众号

    关注微信公众号,专

    为机器学习入门者
    个人资料
    • 访问:230718次
    • 积分:4755
    • 等级:
    • 排名:第7231名
    • 原创:115篇
    • 转载:14篇
    • 译文:3篇
    • 评论:788条
    博客专栏
    最新评论