计算引擎-GPU计算的优势

原创 2015年11月18日 15:03:58

基于GPU的大规模计算早有耳闻,直到中午吃饭范W聊到他的多层神经网络程算法在GPU和CPU上的运行效率是40:1的时候,我才恍然大悟。


中央处理CPU


用来解释机器指令以及处理计算数据。首先是控制部件取出机器指令,翻译并发出执行操作的控制信号;然后运算器负责执行定点浮点算数运算和位运算等;运算器执行操作用的数据和结果放在寄存器中;更多的计算数据放在高速缓存中通过总线和外部的内存交换数据。


图形处理器GPU


用来进行图像运算的处理器。回顾历史,GPU起源于将部分3D图像处理功能从CPU中分离出来进行硬件加速,最初将变换和光线处理TL从CPU中分离出来进行硬件加速;之后可编程的流处理器出现;然后顶点着色器和像素着色器Shader分离成为可编程单元;接着可编程管线出现发展出的单指令流多数据流SIMD,一条指令流同时处理多个数据流,举个栗子:二个m*n的矩阵相加,GPU用c个+指令,CPU用m*n个+指令;然后是现在的统一计算架构CUDA,GPU已经演变成为通用可编程高性能并行计算处理器辅以专用图像处理处理单元。


CPU和GPU对比


CUDA编程模型

一个CUDA程序是由一系列的GPU端的内核函数并行步骤和CPU端的串行处理步骤共同组成。运行在GPU上的并行计算函数称为内核函数Kernel。在CUDA中一个系统中存在一个CPU称作主机和多个个GPU称作设备。主机和设备各自拥有相互独立的存储地址空间,通过调用API存储器管理函数来操作显存。SDK提供二个级别的API,高级的运行时API和底层的驱动API。同时提供常用并行操作函数,基本矩阵与向量运算函数,快速傅立叶变换函数等丰富的函数库。


商业案例

Amazon与NVIDIA宣布推出基于亚马逊集群GPU计算实例

Google用NVIDIA GPU快速学习神经网络,但没有用于云平台方案

阿里云某高管分享阿里云将推出基于GPU的高性能计算,支持深度学习行业的创新


版权声明:本文为博主原创文章,未经博主允许不得转载。

CPU和GPU计算的优缺点分析

CPU和GPU都是具有运算能力的芯片,CPU更像“通才”——指令运算(执行)为重+数值运算,GPU更像“专才”——图形类数值计算为核心。在不同类型的运算方面的速度也就决定了它们的能力——“擅长和不擅长...

使用Qt和Enginio开发云端程序

Enginio是随着Qt2012年的Qt开发者大会上提出的。目的是让Qt开发者对接目前正在蓬勃发展的云技术。在经过半年的发展后,Enginio已经迎来了第一个Alpha版本(2013年7月5日)。预计...
  • dj0379
  • dj0379
  • 2014年04月24日 12:54
  • 3926

体绘制(Volume Rendering)概述之2:体数据详解!!!(转载)

转载地址: http://blog.csdn.net/liu_lin_xm/article/details/4850593 摘抄“GPU Programming And Cg Language P...

fel计算引擎包

  • 2017年11月15日 17:51
  • 795KB
  • 下载

逆波兰式表达式计算引擎

  • 2014年11月10日 10:24
  • 5KB
  • 下载

腾讯大数据之TDW计算引擎解析——Shuffle

腾讯分布式数据仓库(Tencent distributed Data Warehouse, 简称TDW)基于开源软件Hadoop和Hive进行构建,并且根据公司数据量大、计算复杂等特定情况进行了大量优...

字符串计算引擎

  • 2002年09月30日 00:00
  • 12KB
  • 下载

VS调用Matlab计算引擎

C++&Matlab混合编程

Spark计算引擎原理

一、Spark内部原理 ——通过RDD,创建DAG(逻辑计划) ——为DAG生成物理查询计划 ——调用并执行Task 二、生成逻辑执行图:产生RDD 三、生成逻辑执行图:RDD之间关系 四...

Spark (大规模数据处理而设计的快速通用的计算引擎, 与MapReduce类似 ) 基础概念

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapRed...
  • ronmy
  • ronmy
  • 2017年03月05日 14:41
  • 710
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:计算引擎-GPU计算的优势
举报原因:
原因补充:

(最多只允许输入30个字)