关闭

NVIDIA:关于深度学习Benchmark,英特尔错了

1057人阅读 评论(0) 收藏 举报
分类:

针对Intel发表的一份关于Xeon Phi与NVIDIA GPU深度学习性能对比的Benchmark,NVIDIA加速计算业务副总裁Ian Buckf撰写博客文章,对Intel的核心观点进行逐一驳斥,重点指责Intel在与过时的软硬件PK。

图片描述

基准(benchmark)是衡量性能的一个重要工具,但是在一个快速发展的领域,它很难跟得上技术发展的脚步。最近,英特尔就针对其传闻已久的Xeon Phi处理器公布了一些错误的“事实”。

深度学习技术在发展速度上超过了绝大多数其它领域。现今的神经网络,其深度已经比短短数年前提升了6倍,并且也变得更加强大。多GPU扩展技术中的全新功能甚至还能实现更快的训练效果。

此外,我们已经从Kepler、Maxwell升级到目前基于Pascal的系统,比如配有8颗Tesla P100GPU的DGX-1超级计算机,从而在短短一年内将神经网络训练时间缩短了10倍。

因此完全可以理解,该领域的后来者可能无法洞悉目前这一领域软硬件的整体发展情况。

例如,英特尔最近发布了一些过时的基准,并宣称其Knights Landing Xeon Phi处理器在深度学习性能上具有以下三项优势:

  • Xeon Phi的训练速度要比GPU快2.3倍(资料
  • Xeon Phi的跨节点扩展性能比GPU高38%(资料
  • Xeon Phi可大幅扩展至多达128个节点,而GPU则无法实现(资料

让我们逐条分析这三项优势,并纠正可能出现的一些错误认知。

新版与旧版Caffe深度学习框架

英特尔采用了18个月前开发的Caffe AlexNet模型数据,并对采用四颗Maxwell GPU的系统与四台Xeon Phi服务器进行了对比。而如果采用新版Caffe AlexNet模型(点击获取),英特尔就会发现采用四颗Maxwell GPU的系统,训练时间要比四台Xeon Phi处理器快30%。

实际上,一台采用四颗基于Pascal 架构的NVIDIA TITAN X GPU的系统,其训练速度要比四台Xeon Phi服务器速度快90%,而单台NVIDIA DGX-1的训练速度则比四台Xeon Phi服务器快5倍还多。

图片描述

扩展性提升38%

英特尔将Caffe GoogleNet在32台Xeon Phi服务器上的训练成效与橡树岭国家实验室泰坦超级计算机的32台服务器进行了对比。泰坦采用了四年前的GPU(Tesla K20X)以及之前美洲豹超级计算机所用的互连技术。而Xeon Phi的结果则基于最近推出的互连技术。

百度使用更新的Maxwell GPU及互连技术,结果显示其语音训练工作负载的扩展几乎呈现为直线,高达128颗GPU。

英特尔着手发展深度学习当然值得称道,我们正面临人工智能时代一次最重要的技术革命,而如火如荼的深度学习肯定不能被忽略。但是,他们应该把事实搞清楚。

图片描述

数据来源:持久递归神经网络:藏匿于芯片上的递归权重,G.Diamos

可扩展性不仅取决于底层处理器,代码的互连与架构优化同样重要。GPU为百度等客户带来了极佳的扩展性。

大幅扩展至128个节点

英特尔声称,128台XeonPhi服务器可带来比单个Xeon Phi服务器快50倍的性能,而GPU则没有此类扩展性数据。如上所述,百度已经公布的结果显示,扩展几乎呈直线形态,多达128颗GPU。

为了实现强扩展,我们认为强节点要优于弱节点。与许多采用一到两个如Xeon Phi这样性能不足的处理器的弱节点相比,采用多颗高性能GPU的单台服务器的性能要更加优越。例如,单台DGX-1系统可比至少21台Xeon Phi服务器提供更好的大幅扩展性能(DGX-1要比四台Xeon Phi服务器快5.3倍)。

人工智能时代

深度学习有望彻底改变计算,改善我们的生活,提升我们业务系统的效率和智能化,并推动人类的深远发展。为此,我们多年来一直在提升并行处理器的设计,并创建软件和技术来加速深度学习。

我们为深度学习做出深入而广泛的努力。每个框架都有NVIDIA的优化支持,每位主要的深度学习研究者、实验室和公司都在使用NVIDIA GPU。

我们可以逐个纠正他们的误导性言论,不过我们认为,和以前的Kepler GPU架构以及过时的软件进行深度学习对比测试是错误的做法,很容易就可以纠正。这样也有利于让整个行业与时俱进。

0
0
查看评论

各种流行深度学习构架的性能对比

知乎上对各种深度学习方法的对比:         在众多的神经网络框架如chainer, caffe, torch,mxnet等之间如何做选择? 四个月前就有人提出更新对比,现在我看还没有对比更新过。     ...
  • wishchin
  • wishchin
  • 2016-07-07 19:34
  • 5695

Caffe、TensorFlow、MXnet三个开源库对比+主流分类模型对比

库名称 开发语言 支持接口 安装难度(ubuntu) 文档风格 示例 支持模型 上手难易 Caffe c++/cuda c++/python/matlab *** * *** CNN ** MXNet c++/cuda python/R/Julia ...
  • sinat_26917383
  • sinat_26917383
  • 2016-10-02 13:08
  • 4924

caffe学习(7)------网络迭代时间测试

如何知道一个网络的迭代时间?caffe自带测试网络迭代时间的程序net_speed_benchmark.cpp,但它已经集成到caffe.exe里面了。
  • lishanlu136
  • lishanlu136
  • 2017-04-16 22:28
  • 1002

大数据领域的Benchmark介绍

一、Benchmark简介 Benchmark是一个评价方式,在整个计算机领域有着长期的应用。正如维基百科上的解释“As computer architecture advanced, it became more difficult to compare the performance of va...
  • u012050154
  • u012050154
  • 2016-02-24 15:12
  • 5469

深度学习硬件对比评测:英特尔FPGA和英伟达GPU哪个更好?

选自Nextplatform 作者:Linda Barney 参与:李泽南、晏奇、黄小天、吴攀 FPGA 会随着深度学习的发展占领 GPU 的市场吗?英特尔的研究人员对目前最好的两种芯片做了对比。 社交媒体和物联网正持续不断地以指数级方式产出语音、视频、图像等数字数据,这带...
  • xrdsjb001
  • xrdsjb001
  • 2017-11-14 12:13
  • 395

超越英伟达Pascal五倍?揭秘英特尔深度学习芯片架构

在被英特尔收购两年之后,深度学习芯片公司 Nervana 终于准备将代号为「Lake Crest」的架构转化为实际的产品了。 对于英...
  • Uwr44UOuQcNsUQb60zk2
  • Uwr44UOuQcNsUQb60zk2
  • 2018-01-13 06:50
  • 370

英伟达犯众怒!禁止数据中心用GeForce!这下,英特尔AMD机会来了 | 聚焦

▼大型年度AI人物评选——2017中国AI英雄风云榜榜单评选出了年度技术创新人物TOP 10;商业创新人物TOP 10,获取完整榜单请关注网易智能公众号(ID:smartman163),回复关键词“评奖”。作者 | 鸽子今天的朋友圈,被英伟达给炸了。怎么回事呢?话说,英伟达这货最近悄然修改...
  • McIl9G4065Q
  • McIl9G4065Q
  • 2017-12-27 00:00
  • 331

【专访英特尔高级首席工程师戴金权】普通数据工程师,如何玩转深度学习?

记者 | 白羽 几乎每周,人工智能深度学习,总会在某个领域有新的技术突破,新的亮眼成果出来。 不过,这些最新的突破和成果,更多还是在深度学习的各大社区流动,更多是被顶尖教授、学者所掌握和应用,对于普通的程序员来说,有点太高冷了。 尤其是对于大数据工程师、分析师、数据科学家这类人,他们虽并太懂深...
  • dQCFKyQDXYm3F8rB0
  • dQCFKyQDXYm3F8rB0
  • 2018-02-01 14:42
  • 897

nvidia显示设置不可用原来是把VGA线插在了主板集成显卡上

在网上找了好一些办法,都未能解决,发现是把线插错了地方。
  • sinat_39128941
  • sinat_39128941
  • 2018-01-08 21:28
  • 64

Intel提供的面向机器学习和深度学习的优化工具和框架

英特尔数学核心函数库 https://software.intel.com/zh-cn/intel-mkl 英特尔面向深度神经网络的数学核心函数库 https://github.com/01org/mkl-dnn 英特尔数据分析加速库 https://softwar...
  • chenhaifeng2016
  • chenhaifeng2016
  • 2017-04-14 17:02
  • 576
    个人资料
    • 访问:1950721次
    • 积分:22334
    • 等级:
    • 排名:第389名
    • 原创:102篇
    • 转载:1385篇
    • 译文:6篇
    • 评论:262条
    联系方式
    个人邮箱: xuxiduo@zju.edu.cn
    QQ群:
    1)OpenCV俱乐部
        186168905

    2) 视频/音频/图像/算法/ML
        群1:148111910

        群2:157103105

    备注:加群需要回答问题,避免广告党。
    如果你是博客看到后加的,请注明“博客”并回答问题,只注明”博客“不回答问题的恕不加入。答案为和群相关的任何技术名词,不能出现1)和2)中的任何字眼
    博客专栏
    文章分类
    最新评论