关闭

计算引擎-GPU计算的优势

标签: gpuHPCnvidia
1259人阅读 评论(0) 收藏 举报
分类:

基于GPU的大规模计算早有耳闻,直到中午吃饭范W聊到他的多层神经网络程算法在GPU和CPU上的运行效率是40:1的时候,我才恍然大悟。


中央处理CPU


用来解释机器指令以及处理计算数据。首先是控制部件取出机器指令,翻译并发出执行操作的控制信号;然后运算器负责执行定点浮点算数运算和位运算等;运算器执行操作用的数据和结果放在寄存器中;更多的计算数据放在高速缓存中通过总线和外部的内存交换数据。


图形处理器GPU


用来进行图像运算的处理器。回顾历史,GPU起源于将部分3D图像处理功能从CPU中分离出来进行硬件加速,最初将变换和光线处理TL从CPU中分离出来进行硬件加速;之后可编程的流处理器出现;然后顶点着色器和像素着色器Shader分离成为可编程单元;接着可编程管线出现发展出的单指令流多数据流SIMD,一条指令流同时处理多个数据流,举个栗子:二个m*n的矩阵相加,GPU用c个+指令,CPU用m*n个+指令;然后是现在的统一计算架构CUDA,GPU已经演变成为通用可编程高性能并行计算处理器辅以专用图像处理处理单元。


CPU和GPU对比


CUDA编程模型

一个CUDA程序是由一系列的GPU端的内核函数并行步骤和CPU端的串行处理步骤共同组成。运行在GPU上的并行计算函数称为内核函数Kernel。在CUDA中一个系统中存在一个CPU称作主机和多个个GPU称作设备。主机和设备各自拥有相互独立的存储地址空间,通过调用API存储器管理函数来操作显存。SDK提供二个级别的API,高级的运行时API和底层的驱动API。同时提供常用并行操作函数,基本矩阵与向量运算函数,快速傅立叶变换函数等丰富的函数库。


商业案例

Amazon与NVIDIA宣布推出基于亚马逊集群GPU计算实例

Google用NVIDIA GPU快速学习神经网络,但没有用于云平台方案

阿里云某高管分享阿里云将推出基于GPU的高性能计算,支持深度学习行业的创新


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:22979次
    • 积分:542
    • 等级:
    • 排名:千里之外
    • 原创:32篇
    • 转载:0篇
    • 译文:0篇
    • 评论:0条