CUDA学习入门（一）（包含CUDA安装和相关基础知识）

已于 2024-01-21 17:07:36 修改
阅读量4.7k 收藏 49
点赞数 23
分类专栏： Jetson 学习记录 文章标签： linux ubuntu gpu算力
于 2024-01-19 20:39:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44222088/article/details/135694581
版权

CUDA学习入门（一）

前言

本篇只是对CUDA入门有一个宏观的概述，并不涉及具体编程细节，是关于CUDA基础信息的科普性文章，适用于想简单了解什么是CUDA，以及对CUDA工作流程感兴趣的小伙伴。

一、初识CUDA

1.1 什么是CUDA

CUDA是一种由NVIDIA公司推出的通用并行计算架构。它的主要目的是让开发者能够利用GPU（的强大计算能力来进行通用计算，这种计算方式通常被称为GPGPU（General-Purpose computing on Graphics Processing Units）。CUDA提供了一种并行程序模型，允许开发者定义并控制大量的并行线程的执行，这些线程可以被组织成线程块和线程组。CUDA核心是运行在这些线程上的特殊函数，它们能够在GPU上并行执行任务。

在这里插入图片描述

  • CUDA：

    Compute Unified Device Architecture

  • 基于C/C++的编程方法

  • 支持异构编程的扩展方法（下方会介绍异构编程）

  • 拥有简单明了的APIs，能够轻松的管理存储系统，能更快更好地使用GPU

  • CUDA支持的编程语言：

    C/C++/Python/Fortran/Java/…

在这里插入图片描述
如上图所示，在整个计算机体系中，最底层自然是由CPU、GPU等硬件组成的

硬件之上就是操作系统及其相关驱动接口

咱们的CUDA在整个计算机里呢是位于系统层之上的

而我们所需要学习的则是在CUDA的更上一层（上图红框所示）

也就是说，我们是在CUDA基础之上进行并行计算设计和数值方法处理，我们调用CUDA及其相关接口去完成一系列的APP应用设计。

1.2 异构计算

在NVIDIA的GPU上进行编程任务，我们需要了解什么是GPU与异构计算。

了解GPU的异构计算，我们需要对CPU和GPU有明显的区分，需要搞清楚下面的两个概念（术语）。

  • Host CPU和内存（host memory）
  • Device GPU和显存（device memory）

其实我们的GPU刚开始是叫做协处理器，它并不是单独的在计算机中去执行任务，而是去协助我们的CPU乃至整个计算机系统去完成一个整体任务。

如下图所示，我们把5%甚至更少的代码量放到GPU上去跑，虽然代码量少，但是执行的计算任务却很多。把更多的计算任务放到我们的GPU上，让GPU和CPU一起协作完成任务，这就是所谓的异构计算的一部分。

在这里插入图片描述

总的来说，所谓异构，是指CPU、DSP、GPU、ASIC、协处理器、FPGA等各种计算单元、使用不同的类型指令集、不同的体系架构的计算单元，组成一个混合系统来执行计算。

有了这个概念打底，可以为后续我们学习CUDA编程，区分CPU代码和GPU代码做基础。

1.3 CUDA安装

这上面提供的连接是NVIDIA官方提供的教程，Windows下的安装很简单，就直接执行一个.exe可执行文件就可以了，Jetson安装直接刷机即可。

相对于Windows和Jetson来说，Linux下安装CUDA略加复杂一点，参照网上其他人的安装教程，可能有一些时间比较久的会有一些坑，存在一些问题，这里建议NVIDIA官方最新教程进行安装，就会简单许多。

我这里用Edge浏览器的翻译，翻译成中文一般不会存在太多的问题，如果发现个别语句不太通顺就需要小伙伴自己检查一下原文了。

在这里插入图片描述

二、CUDA程序的编写

2.1 CUDA代码示例

下方是一个CUDA代码例程，我们以CUDA C为基础，将CPU代码和GPU代码混写在一起，也可以说是将串行代码和并行代码混写在一起，我们只需要完成整个代码文件，然后通过nvcc编译程序，将代码编译为计算机可执行的二进制文件。

通过CUDA，我们不需要单独编写CPU程序和GPU程序，只需要将它们写入同一个文件，nvcc就会帮我们完成剩下的工作。

在这里插入图片描述

2.2 CUDA程序执行流程

将CUDA程序编写好后，我们需要明确，我们的GPU是协处理器，所以我们需要CPU和GPU一起工作，相互协作来完成程序任务。

首先第一步，我们需要在CPU端将我们需要处理的数据复制到GPU端。

在这里插入图片描述
然后在第二步中，相关的数据就会在GPU端的存储系统通过分级存储器调进CUDA核进行计算处理。

在这里插入图片描述
第三步，我们就将GPU计算好的数据复制回CPU中。

在这里插入图片描述

概括来说，就是CPU将数据复制进GPU完成计算，然后将计算结果复制回CPU这样一个流程。

2.3 CUDA重要关键字

这里介绍几个CUDA中重要的三个关键字。

关键字执行位置调用位置
__device__float DeviceFunc()devicedevice
__global__void KernelFunc()devicehost&device(arch>3.0)
__host__float HostFunc()hosthost

注意：上方表格关键字左右两侧的下划线都是两个下划线

上方表格最左侧的一列写的是关键词，右侧两列分别是对应关键词的额执行位置和调用位置。

  • 例如 _global_定义一个 Kernel 函数
    -入口函数，可以在CPU上调用，必须在GPU上执行
    -必须返回void

  • _device_ 和 _|host_ 可以同时调用

下图是一个简单的CUDA程序示例，包括了GPU函数的编写及调用。
在这里插入图片描述

下一篇链接：CUDA学习入门（二）

本人是一名学生，也是正在学习Jetson的过程中，如有错误请批评指正！

部分图表信来源：https://mp.weixin.qq.com/s/em309Ho6AaV5f1ogWpajJw

BAs533
关注
  • 23
    点赞
  • 踩
  • 49
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
[1] CUDA介绍及入门
yohnyang的博客
05-21 573
[1] CUDA介绍及入门
安装CUDA与CUDNN与Pytorch（最新超级详细图文版本2024年8月最新）_cudnn12
最新发布
2401_84009065的博客
04-22 1082
学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！**
快来操纵你的GPU|CUDA编程入门极简教程
02-25
2006年，NVIDIA公司发布了CUDA（http://docs.nvidia.com/cuda/），CUDA是建立在NVIDIA的CPUs上的一个通用并行计算平台和编程模型，基于CUDA编程可以利用GPUs的并行计算引擎来更加高效地解决比较复杂的计算难题。近年来，GPU最成功的一个应用就是深度学习领域，基于GPU的并行计算已经成为训练深度学习模型的标配。目前，最新的CUDA版本为CUDA9。GPU并不是一个独立运行的计算平台，而需要与CPU协同工作，可以看成是CPU的协处理器，因此当我们在说GPU并行计算时，其实是指的基于CPU+GPU的异构计算架构。在异构计算架构中，GPU与CPU通过P
CUDA——"从入门到放弃"
热门推荐
fu6543210的博客
05-09 11万+
1. 知识准备 1.1 中央处理器（CPU） 中央处理器（CPU，Central Processing Unit）是一块超大规模的集成电路，是一台计算机的运算核心（Core）和控制核心（ Control Unit）。它的功能主要是解释计算机指令以及处理计算机软件中的数据。 中央处理器主要包括运算器（算术逻辑运算单元，ALU，Arithmetic Logic Unit）和高速缓冲存储器（Cac...
CUDA与cuDNN详细安装教程（最新）
weixin_54106682的博客
04-05 6137
CUDA与cuDNN安装详细教程
CUDA简介, 配置和运行第一个CUDA程序（Windows和Linux）
qq_74083422的博客
12-02 1万+
CUDA保姆级配置教程和运行测试
CUDA是什么-CUDA简介
Lce的专栏
11-03 3万+
CPU、GPU CPU CPU（Central Processing Unit）是一块超大规模的集成电路，是一台计算机的运算核心（Core）和控制核心（ Control Unit）。它的功能主要是解释计算机指令以及处理计算机软件中的数据。CPU与内部存储器（Memory）和输入/输出（I/O）设备合称为电子计算机三大核心部件。CPU主要包括运算器（算术逻辑运算单元，ALU，Arithmetic Logic Unit）、控制单元（CU, Control Unit）、寄存器（Register）、和高速缓冲存储器
手把手教你安装CUDA（一看就会）
Elon15的博客
07-08 7万+
手把手教你安装CUDA（一看就会）
【CUDA安装详细教程】
weixin_44189155的博客
08-16 4万+
windows10 版本安装 CUDA ，需要下载两个安装包CUDA toolkit（toolkit就是指工具包）和cuDNN，cuDNN 是用于配置深度学习使用官方教程。
GPU基本介绍
计算机视觉小菜鸟的专栏
06-05 1万+
基本概念： GPU: Graphic Processing Unit;图形处理单元； GPGPU: General Purpose computations on GPU；通用计算图形处理单元； CPU与GPU的相同点： （1）都是计算机体系结构中的重要组成部分； （2）都是超大规模集成电路元件； （3）都能够完成浮点运能功能； CPU与GPU的不同之处： （1）GPU的设计目
pytorch一天速成第一部分——基础入门Tensor和cuda
12-22
PyTorch是一个强大的开源机器学习库，主要由Python构建，用于科学计算，特别是在深度学习领域。...通过理解和熟练掌握这些基础知识，开发者可以在短时间内上手PyTorch，并进行深度学习项目的实践。
CUDA编程入门
01-07
目录1 [GPU硬件架构及运行机制]...CUDA编程需要CPU和GPU协同工作，程序中既包含host程序，又包含device程序，他们分别在CPU和GPU上运行，二者间可以进行通信。 host – CPU及其内存
CUDA.rar_condensation_cuda_cuda 入门_cuda入门_深入浅出谈CUDA
09-14
总之，这个压缩包为CUDA初学者提供了一条系统的学习路径，从基础知识到内存管理和并行计算的关键概念，再到性能优化和调试工具，都是CUDA编程中不可或缺的部分。通过学习这些内容，你可以逐步掌握如何利用GPU的强大...
你可能需要的cuda安装教程
01-26
本教程将为你提供CUDA的安装步骤和基础知识，帮助你快速入门。 首先，CUDA的安装涉及以下几个关键部分： 1. **系统要求**：CUDA支持Windows、Linux和macOS操作系统，但你需要拥有一块NVIDIA GPU，且该GPU需支持...
cuda安装与使用 cuda博客 cuda入门资料
09-09
最后，作为CUDA的入门资料，这个压缩包中的博客和文档应该包含了CUDA编程的基础知识、实例演示以及常见问题解答，对于初学者来说是非常有价值的资源。通过学习这些内容，你将能够逐步掌握CUDA编程的基本技巧，进而...
一句话讲清楚什么是CUDA，人人都能听懂的CUDA概念
AI全球视野
01-19 8671
通俗地说，CUDA是一种协助“CPU任务分发+GPU并行处理”的编程模型/平台，用于加速GPU和CPU之间的计算。也就是说CUDA通过CPU任务分发和GPU并行处理的方式，把计算任务通过CPU分发给GPU进行并行计算加速。而GPU并行计算的能力需要CUDA借助其自带的编程接口和工具，比如C/C++语言来编写并行计算程序，并通过CUDA编译器将程序转化为可以在英NVIDIA GPU上执行的机器码快速运行。
目标检测第4步：显卡、GPU、CUDA、cuDNN的介绍及如何在Windows 10下安装cuDNN？
Cat
03-18 7819
显卡、GPU、CUDA、cuDNN的介绍及他们之间的关系是什么？如何在Windows 10下安装cuDNN？本文对其进行了生动描述
认识CUDA
qq_43570025的博客
01-04 811
CUDA（Compute Unified Device Architecture），是显卡厂商NVIDIA推出的运算平台。CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。它包含了CUDA指令集架构（ISA）以及GPU内部的并行计算引擎。开发人员可以使用C语言来为CUDA™架构编写程序，所编写出的程序可以在支持CUDA™的处理器上以超高性能运行。如果这是你第一次使用CUDA，在Linux系统中，你可能想使用以下命令来检查CUDAnvcc查看GPU状态。
gpu编程实战(基于python和cuda)电子版
07-19
### 回答1： 《GPU编程实战（基于Python和CUDA）》是一本介绍如何使用Python和CUDA进行GPU编程的电子版教材。GPU编程是利用图形处理器（GPU）执行并行计算的过程，它在数据处理和科学计算等领域具有广泛的应用。 这本实战教材首先会对GPU编程的基础知识进行介绍，包括GPU体系结构、CUDA平台的概念以及编程模型等。接着，教材会详细讲解如何使用Python和CUDA进行开发，包括环境配置、CUDA编程的基本语法以及并行计算的技巧等。 该教材还会介绍一些实际的应用案例，如图像处理、机器学习和深度学习等。学习者可以通过这些案例了解如何使用GPU编程进行加速计算，以及如何优化算法以提高程序的性能。 使用Python和CUDA进行GPU编程的好处是可以利用Python语言的简洁性和易用性以及CUDA平台的高性能计算能力。通过这本实战教材，学习者可以快速入门并掌握GPU编程的基本技能，并能够利用GPU加速计算实际问题。 总之，《GPU编程实战（基于Python和CUDA）》电子版是一本帮助学习者快速入门并掌握GPU编程技能的实用教材。它不仅介绍了基本的理论知识，还通过实际案例帮助学习者了解如何应用GPU编程进行加速计算。无论是对于初学者还是已有一定基础的人来说，这本教材都是一本值得阅读和学习的好书。 ### 回答2： 《GPU编程实战（基于Python和CUDA）》电子版是一本通过结合Python和CUDA进行GPU编程的实践指南。本书涵盖了GPU结构和工作原理的基础知识，以及如何使用Python和CUDA进行并行计算的具体应用。 该书的主要内容包括： 1. GPU基础知识：介绍了GPU的基本架构和工作原理，帮助读者理解GPU编程的核心概念和原理。 2. CUDA编程：详细介绍了CUDA的使用方法，包括CUDA编程模型、线程和内存管理、并行计算等内容。读者将学习如何使用CUDA在GPU上运行高性能的并行计算任务。 3. Python和CUDA集成：介绍了如何使用Python和CUDA进行编程，并展示了如何在Python代码中调用CUDA函数进行GPU计算。这种集成方式可以让开发者更加方便地利用CUDA进行GPU编程。 4. 并行算法和应用：介绍了一些常见的并行算法和应用的实现方法，包括图像处理、矩阵运算、机器学习等。读者可以通过实践来深入理解并行计算的应用领域。 通过学习《GPU编程实战（基于Python和CUDA）》，读者可以了解GPU的基本原理和编程模型，掌握使用Python和CUDA进行GPU编程的技巧。这本书将帮助读者提升并行计算的能力，从而能够更加高效地利用GPU进行加速计算。同时，这本书也适合对GPU编程感兴趣的程序员和学生学习和参考。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值