高性能面试八股文之编译流程&程序调度

最新推荐文章于 2024-04-29 23:48:08 发布
最新推荐文章于 2024-04-29 23:48:08 发布
阅读量375 收藏 5
点赞数
文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38086244/article/details/134419221
版权

1. C的编译流程

C语言程序的编译过程通常包括预处理（Preprocessing）、编译（Compilation）、汇编（Assembly）、链接（Linking）四个主要阶段。下面是这些阶段的详细说明：

1.预处理（Preprocessing）:

  • 目的：在编译前进行一些预处理操作，如宏替换、文件包含等，生成一个扩展名为.i的中间文件。
  • 命令：gcc -E source.c -o output.i。
  • #include <stdio.h>

#define PI 3.14159

int main() {
    printf("The value of PI is: %f\n", PI);
    return 0;
}

    经过预处理后的代码可能包含#include指令中的文件内容，以及宏替换后的内容。

2.编译（Compilation）:

    • 目的：将预处理后的文件进行编译，生成一个汇编语言代码文件，扩展名为.s。
    • 命令：gcc -S output.i -o output.s。
    • 示例：
    • .section    __TEXT,__text,regular,pure_instructions
.globl    _main
.align    4, 0x90
_main:                                  ## @main
       .cfi_startproc
## BB#0:
       pushq    %rbp
       .cfi_def_cfa_offset 16
       .cfi_offset %rbp, -16
       movq    %rsp, %rbp
       .cfi_def_cfa_register %rbp
       subq    $16, %rsp
       leaq    L_.str(%rip), %rdi
       movabsq    $4614256656552045848, %rax # imm = 0x3FF921FB54442D18
       movq    %rax, -8(%rbp)
       movb    $0, %al
       callq    _printf
       xorl    %eax, %eax
       addq    $16, %rsp
       popq    %rbp
       retq
       .cfi_endproc
L_.str:                                  ## @.str
       .asciz    "The value of PI is: %f\n"

.subsections_via_symbols

      • 这是一个汇编语言的代码文件，展示了C代码的汇编翻译。

3.汇编（Assembly）:

  • 目的：将汇编语言代码转换成机器码，生成一个目标文件，扩展名为.o。
  • 命令：gcc -c output.s -o output.o。
  • 示例：生成一个目标文件，包含机器可执行代码。

    • 这是一个简化的编译过程，实际上可能涉及到更多的细节和选项。编译器（如gcc）通常会在后台处理这些步骤，使得编译过程对用户来说更加方便。

4.链接（Linking）:

  • 目的：将程序中使用的函数和库连接在一起，生成最终的可执行文件。
  • 命令：gcc output.o -o executable。
  • 示例：将目标文件与系统库进行链接，生成可执行文件。

2. C++的编译流程

C++的编译流程与C语言的编译流程基本相似，因为C++是在C的基础上发展而来的，但C++引入了面向对象的特性，因此在编译过程中可能会包括更多的步骤。下面是C++程序的典型编译流程：

1.预处理（Preprocessing）:

  • 目的：执行预处理，包括宏替换、文件包含等，生成一个扩展名为.ii的中间文件。
  • 命令：g++ -E source.cpp -o output.ii。
  • 示例： 
    #include <iostream>

#define PI 3.14159

int main() {
    std::cout << "The value of PI is: " << PI << std::endl;
    return 0;
}

  • 经过预处理后的代码可能包含#include指令中的文件内容，以及宏替换后的内容。

2.编译（Compilation）:

  • 目的：将预处理后的文件进行编译，生成一个汇编语言代码文件，扩展名为.s。
  • 命令：g++ -S output.ii -o output.s。

示例：

.section    __TEXT,__text,regular,pure_instructions
.globl    _main
.align    4, 0x90
_main:                                  ## @main
       .cfi_startproc
## BB#0:
       pushq    %rbp
       .cfi_def_cfa_offset 16
       .cfi_offset %rbp, -16
       movq    %rsp, %rbp
       .cfi_def_cfa_register %rbp
       leaq    L_.str(%rip), %rdi
       movabsq    $4614256656552045848, %rax # imm = 0x3FF921FB54442D18
       movq    %rax, -8(%rbp)
       movb    $0, %al
       callq    __ZStlsISt11char_traitsIcEERSt13basic_ostreamIcT_ES5_PKc
       movabsq    $4614256656552045848, %rcx # imm = 0x3FF921FB54442D18
       movq    %rcx, -16(%rbp)
       movq    %rax, %rdi
       callq    __ZNSolsEd
       leaq    L_.str.1(%rip), %rdi
       movq    %rax, -24(%rbp)
       movq    %rax, %rsi
       movq    %rdi, %rax
       movq    %rax, %rdi
       callq    __ZStlsISt11char_traitsIcEERSt13basic_ostreamIcT_ES5_PKc
       movq    -16(%rbp), %rsi
       movabsq    $4614256656552045848, %rcx # imm = 0x3FF921FB54442D18
       movq    %rcx, %rdi
       movq    %rax, %rdx
       callq    __ZNSolsEd
       leaq    L_.str.2(%rip), %rdi
       movq    %rax, %rsi
       callq    __ZStlsISt11char_traitsIcEERSt13basic_ostreamIcT_ES5_PKc
       movq    %rax, %rsi
       movq    -24(%rbp), %rdi
       callq    __ZNSolsEPFRSoS_E
       movl    $0, %eax
       addq    $8, %rsp
       popq    %rbp
       retq
       .cfi_endproc

.section    __TEXT,__cstring,cstring_literals
L_.str:                                  ## @.str
       .asciz    "The value of PI is: %f\n"

.section    __TEXT,__cstring,cstring_literals
L_.str.1:                                ## @.str.1
       .asciz    "%f"

.section    __TEXT,__cstring,cstring_literals
L_.str.2:                                ## @.str.2
       .asciz    "\n"

.subsections_via_symbols

这是一个汇编语言的代码文件，展示了C++代码的汇编翻译。

3.汇编（Assembly）:

  • 目的：将汇编语言代码转换成机器码，生成一个目标文件，扩展名为.o。
  • 命令：g++ -c output.s -o output.o。
  • 示例：生成一个目标文件，包含机器可执行代码。

4.链接（Linking）:

  • 目的：将程序中使用的函数和库连接在一起，生成最终的可执行文件。
  • 命令：g++ output.o -o executable。
  • 示例：将目标文件与系统库进行链接，生成可执行文件。

这个流程大致描述了C++程序的编译过程。实际上，C++编译器（如g++）可能会在后台执行更多的优化和处理步骤。

3. cuda程序的编译流程

CUDA（Compute Unified Device Architecture）是一种由NVIDIA提供的并行计算平台和编程模型，用于利用NVIDIA GPU的计算能力。CUDA程序的编译过程涉及到主机端（Host）和设备端（Device）两个部分。

以下是简化的CUDA程序编译流程：

  1. CUDA源代码：

    • 主机端代码（运行在CPU上）和设备端代码（运行在GPU上）都包含在CUDA源代码中，通常具有.cu或.cuh的文件扩展名。

  2. 主机端编译：

    • 使用主机端编译器（如nvcc）对CUDA源代码进行编译。nvcc会将主机端代码编译成可执行文件，同时将设备端代码提取出来。
    • 命令：nvcc -o executable host_code.cu。

  3. 设备端编译：

    • 使用设备端编译器（PTX（Parallel Thread Execution）编译器）将设备端代码编译成PTX汇编代码。PTX是一种中间表示，可以在不同的GPU上运行。
    • 命令：生成的PTX文件通常以.ptx为扩展名。

  4. 设备端汇编：

    • 使用设备端汇编器将PTX汇编代码转换为针对特定GPU架构的二进制代码（CUBIN文件）。
    • 命令：生成的CUBIN文件通常以.cubin为扩展名。

  5. 链接：

    • 使用链接器将主机端可执行文件与设备端CUBIN文件进行链接，生成最终的可执行文件。
    • 命令：通常不需要手动执行链接步骤，nvcc会自动完成。

总体来说，nvcc编译器会负责协调这些步骤，将主机端和设备端的代码整合在一起，生成可在GPU上执行的最终可执行文件。这个文件可以在CPU上运行主机端代码，并在GPU上运行设备端代码，实现协同计算。需要注意的是，CUDA编程通常需要考虑设备内存管理、线程调度等与GPU相关的特性。

4. cuda SM的调度逻辑以及如何进行调度优化

CUDA中的SM（Streaming Multiprocessor）是NVIDIA GPU中的一个核心执行单元，负责执行CUDA线程块（Thread Blocks）中的线程。SM的调度逻辑涉及到线程调度和指令调度两个方面。

线程调度：

  1. Warp：

    • SM中的线程以Warp为单位进行调度。Warp是包含32个线程的基本调度单元。
    • 同一Warp中的线程同时执行相同的指令，称为SIMD（Single Instruction, Multiple Data）执行模型。

  2. 调度单元：

    • SM包含多个调度单元（Scheduler），每个调度单元负责调度一个Warp的执行。
    • 当一个Warp中的某个线程暂停（如等待数据或分支等待）时，调度单元可以调度其他活跃的Warp。

  3. 上下文切换：

    • 当一个Warp中的线程在执行过程中发生分支等待或者数据相关的暂停时，调度单元会切换到另一个Warp，以保持GPU的执行单元忙碌。

指令调度：

  1. 指令发射：

    • 每个调度单元负责将Warp中的指令发射到执行单元。发射的指令会进入指令缓存。

  2. 执行单元：

    • SM包含多个执行单元，每个执行单元可以执行特定类型的指令（整数、浮点数、特殊操作等）。
    • 每个Warp中的指令通过执行单元并行执行，以提高整体吞吐量。

调度优化：

  1. Warp Divergence：

    • 尽量避免Warp中的线程分支等待导致的Warp Divergence，即不同线程执行不同的分支。
    • 同一Warp中的线程应尽量执行相同的代码路径，以最大程度地利用SIMD执行模型。

  2. 隐藏内存访问延迟：

    • 通过使用共享内存、使用纹理缓存等手段，尽量隐藏对全局内存的访问延迟，以充分利用SM中的调度资源。

  3. 减小资源竞争：

    • 避免过多的资源竞争，例如使用原子操作时可能导致的竞争问题，以减小SM中调度单元的负担。

  4. 最大化吞吐量：

    • 在设计CUDA内核时，应考虑尽量提高Warp的吞吐量，使得SM能够同时执行多个Warp以充分发挥并行计算能力。

  5. 使用适当的数据类型：

    • 选择适当的数据类型可以提高内存带宽利用率，从而优化调度效率。

调度优化是一个复杂的任务，需要深入理解GPU架构、CUDA编程模型和具体应用的特点。通过合理设计CUDA内核，可以最大程度地发挥GPU的性能。可以使用CUDA的性能分析工具，如NVIDIA Visual Profiler（nvvp）等，来进行调度效率的评估和优化。

5. 多stream程序调度优化

在CUDA编程中，使用多个流（streams）可以提高并行性，充分利用GPU资源。流是一组按照顺序执行的CUDA操作，而多个流可以在同一设备上并发执行。以下是一些多流程序调度的优化策略：

  1. 流的创建和销毁：

    • 尽可能在程序的生命周期中创建一次流并多次重复使用，而不是频繁地创建和销毁流。
    • 流的创建和销毁本身会涉及一些开销，因此最好在初始化阶段创建所需的流，并在整个应用程序的执行过程中重复使用它们。

  2. 异步执行：

    • 在程序中使用异步执行，即在主机端和设备端之间异步启动和等待流。
    • 通过异步执行，可以在主机端执行计算或数据传输的同时，让设备端执行其他任务，提高整体性能。

  3. 流之间的任务划分：

    • 将任务划分到不同的流中，确保在同一流上的任务之间有一定的并行性。
    • 如果任务之间存在依赖关系，确保这些依赖关系不会导致流之间的同步，以最大程度地发挥流并发性。

  4. 数据传输优化：

    • 在使用多流时，考虑数据传输的优化。可以使用异步传输、使用页锁内存（pinned memory）以及使用DMA引擎等技术来最小化主机与设备之间的数据传输时间。

  5. 流同步：

    • 在需要等待某个流上的任务完成时使用显式同步。可以使用cudaStreamSynchronize函数等待流上的任务完成。
    • 注意，不同流之间的同步会导致性能损失，因此只在必要时使用同步。

  6. 流的数量：

    • 流的数量不是越多越好，过多的流可能导致资源竞争和调度开销。
    • 在选择流的数量时，可以进行一些实验和性能分析，以找到最佳的流的数量，以平衡并行性和调度开销。

  7. 使用CUDA事件：

    • 使用CUDA事件（cudaEvent_t）可以更细粒度地控制流之间的同步和异步操作。
    • 通过记录事件，可以在流之间建立更复杂的依赖关系，提高并行性。

  8. 动态并行性调整：

    • 根据硬件配置和程序特点，动态调整并行性。有些情况下，调整并行任务的数量和大小可以获得更好的性能。

通过合理利用这些优化策略，可以最大程度地发挥多流程序的性能，提高GPU资源的利用率。在实践中，通过使用性能分析工具（如NVIDIA Visual Profiler）可以更好地了解程序在GPU上的执行情况，帮助识别性能瓶颈和进行进一步的优化。

6. Cuda内存管理，资源申请及内存释放

CUDA内存管理是GPU编程中的重要方面，合理的资源申请和内存释放可以显著影响程序的性能。以下是一些CUDA内存管理的优化方案：

资源申请：

  1. 使用静态内存分配：

    • 对于大小已知且固定的数据结构，可以使用静态内存分配，即通过定义数组或结构体来分配内存。这样可以避免动态内存分配的开销和管理。

  2. 使用共享内存：

    • 在CUDA编程中，共享内存是每个线程块（block）私有的高速缓存，对于线程块内的线程可以共享数据。共享内存的访问速度比全局内存快得多。
    • 将频繁访问的数据放入共享内存，以提高访问速度。

  3. 使用纹理内存：

    • 对于某些访问模式，如全局内存的随机访问，可以考虑使用纹理内存。纹理内存具有缓存机制，适用于某些数据访问模式，可以提高存取效率。

  4. 延迟内存分配：

    • 在程序初始化阶段，将可能的内存分配推迟到真正需要使用时。这样可以避免在启动时一次性分配大量内存，节省资源。

内存释放：

  1. 手动管理内存：

    • 在某些情况下，手动管理内存的释放可以提高性能。CUDA提供了cudaMalloc和cudaFree等函数，可以手动分配和释放内存。

  2. 使用对象池（Object Pool）：

    • 对于需要频繁创建和销毁的对象，可以考虑使用对象池。对象池在程序初始化时分配一块内存，然后重复使用其中的对象，而不是频繁地进行内存分配和释放。

  3. 内存合并：

    • 当多个小内存块需要释放时，可以考虑将它们合并成一个较大的内存块，再进行释放。这可以减少内存碎片，提高内存利用率。

  4. 使用统一内存：

    • 对于一些较新的NVIDIA GPU，支持统一内存（Unified Memory）。统一内存可以由CPU和GPU同时访问，CUDA运行时会自动进行数据迁移。使用统一内存可以简化内存管理，但需要注意性能开销。

  5. 注意内存对齐：

    • 确保数据结构和数组的内存对齐，以提高访问效率。可以使用cudaMallocPitch等函数来分配按照特定对齐方式的内存。

  6. 使用内存池：

    • 对于多次申请和释放同样大小的内存块，可以使用内存池，避免频繁的内存分配和释放，提高效率。

在进行内存管理时，除了考虑性能，还需要考虑代码的可读性和维护性。选择适当的内存管理策略取决于具体应用场景和需求。在进行优化时，建议通过性能分析工具（如NVIDIA Visual Profiler）来评估和验证内存管理的效果

7. GPU中tensor core及cuda core的关系

  1. 简单介绍一下 tensor core 和 cuda core

    1. Tensor Cores 是 NVIDIA GPU 中的一种硬件功能，旨在加速深度学习任务的矩阵乘法运算。CUDA Cores 是 GPU 中的通用处理单元，负责执行通用的计算任务。

      在 NVIDIA Volta 架构及之后的一些架构中，Tensor Cores 被引入以提高深度学习任务的性能。这些 Tensor Cores 是在 GPU 的 SM（Streaming Multiprocessor）中的特殊功能单元，与传统的 CUDA Cores 不同。Tensor Cores 主要用于执行矩阵乘法运算，这是深度学习中的一个关键操作。

      下面是 Tensor Cores 和 CUDA Cores 之间的关系：

    2. CUDA Cores：

      • CUDA Cores 是通用的处理单元，负责执行通用的 GPU 计算任务。它们可以执行各种类型的指令，适用于广泛的计算工作负载，包括图形渲染、科学计算、物理模拟等。
      • 在深度学习任务中，CUDA Cores 也会执行一些通用的计算，但并不专门优化矩阵乘法等深度学习操作。

    3. Tensor Cores：

      • Tensor Cores 是一种专门用于执行深度学习中矩阵乘法运算的硬件单元。它们采用低精度（通常是半精度浮点数）运算，通过同时处理多个元素来提高计算性能。
      • Tensor Cores 通常以矩阵乘法的形式工作，如 A*B=C，其中 A、B 和 C 都是矩阵。Tensor Cores 对于矩阵乘法的计算效率更高。
  2. tensor core的实现原理

    1. Mixed-Precision Arithmetic：

      • Tensor Cores 使用混合精度算术进行计算，主要包括浮点 16 位（half precision）和整数 32 位（integer）计算。
      • 输入和输出通常是浮点 16 位，而中间计算过程可能使用整数 32 位。

    2. 4x4 Matrix Multiply and Accumulate（MMA）：

      • Tensor Cores 主要通过 4x4 矩阵乘法和累加（MMA）来执行计算。这意味着它们能够同时处理 4x4 的矩阵块，从而实现更高的计算并行度。
      • 计算过程中，输入矩阵被加载到 Tensor Cores 中，进行 4x4 矩阵乘法，然后结果累加到输出矩阵中。

    3. 数据压缩：

      • Tensor Cores 使用权重和激活值的低精度表示，从而减少了内存带宽需求和计算开销。
      • 例如，在矩阵乘法计算中，通常使用 float16 数据类型进行计算，减少了数据传输和计算时的存储需求。

    4. Fused Multiply-Add（FMA）：

      • Tensor Cores 支持融合乘法累加（FMA）操作，即乘法和加法可以在一个时钟周期内完成。
      • 这使得 Tensor Cores 能够在单个指令中同时执行乘法和累加，提高计算效率。

    5. 独立单元：

      • Tensor Cores 是 GPU 中的特殊硬件单元，与 CUDA Cores 独立。它们具有专门的电路和指令集，用于执行深度学习中的矩阵乘法。

    6. 支持 FP16 和 INT8 算术：

      • Tensor Cores 可以执行浮点 16 位（FP16）和整数 8 位（INT8）的混合精度计算，以适应不同的深度学习模型需求。
  4. fp16 非卷积和矩阵乘预算是在哪里执行
    1. 简而言之：

      1. 矩阵乘法： Tensor Cores 设计用于加速大规模矩阵乘法运算，专门使用 FP16 或 INT8 数据类型。

      2. 非矩阵操作： 除矩阵乘法之外的操作，例如卷积、逐元素操作和其他非矩阵数学运算，通常由 CUDA Cores 完成。

      3. 在使用 TensorFlow 或 PyTorch 等深度学习框架时，框架会在支持的 GPU 上自动利用 Tensor Cores 加速适用的矩阵运算。对于非矩阵操作，CUDA Cores 负责执行计算。

        值得注意的是，不同 GPU 架构的确切功能和特性可能有所不同，而 Tensor Cores 的利用也取决于深度学习框架的实现和配置方式。

  5. 如何高效的使用tensor core 和cuda core

    1. 高效使用 Tensor Cores：

    2. 使用 FP16 数据类型：

      • Tensor Cores 主要用于加速 FP16（float16）计算。确保你的深度学习模型和框架支持使用 FP16 数据类型。

    3. 合理设置混合精度：

      • 在深度学习框架中，如 TensorFlow 和 PyTorch，启用混合精度训练（mixed precision training）。这样可以在前向传播时使用 FP16 计算，从而利用 Tensor Cores 进行加速。

    4. 注意数据范围：

      • 由于 FP16 的数据范围相对较小，确保在使用时不会导致数值溢出或损失过多的精度。

    5. 优化数据传输：

      • 减少主机与设备之间的数据传输次数，使用异步传输和页锁定内存（pinned memory）来优化数据传输性能。

    6. 减小线程阻塞：

      • 优化 CUDA Kernel 中的线程布局和块大小，以减小线程阻塞，确保 GPU 的计算资源得到最大利用。

    7. 使用共享内存：

      • 对于涉及共享内存的计算密集型任务，合理使用共享内存以提高访问速度。

    8. 减少数据竞争：

      • 考虑减少线程间的数据竞争，使用原子操作或其他同步机制以避免竞争条件。

    9. 并行任务划分：

      • 将任务划分成适当的大小，以充分利用 CUDA Cores 的并行性。这包括适当的网格和块大小设置。

    10. 使用 Warp-Level Primitives：

      • NVIDIA提供了 Warp-Level Primitives 库，其中包含了一些 Warp 级别的原语，可用于高效的 Warp 级别操作。

    11. 合理利用流：

      • 使用 CUDA 流（stream）以实现异步执行，充分利用 GPU 上的计算和数据传输资源。

    12. 适用性能分析工具：

      • 使用性能分析工具，如 NVIDIA Nsight、NVIDIA Visual Profiler 等，来评估和优化你的 CUDA Kernel 和整体程序性能。

运气好到爆
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GPU计算]深入浅出谈CUDA技术
04-10
GPU计算]深入浅出谈CUDA技术，一篇很好的入门级文档，为大家学习Cuda并行计算打下基础。
NVIDIA GPU- 流式多处理器（Streaming Multiprocessor）
青衫客36的博客
10-18 782
流式多处理器（Streaming Multiprocessor，简称SM）是NVIDIA GPU的基本计算单元。理解SM的结构和功能对于最大限度地利用GPU的计算能力非常重要。总结：SM是NVIDIA GPU的核心计算单元，负责执行CUDA线程。理解其工作原理有助于更好地设计和优化CUDA程序。
CUDA线程调度
不甘平凡的小鸟的专栏
09-11 904
1，一个GPU会有多个SM（Streaming MultiProcessor）,SM之间是并行的； 2，一个SM可以同时处理多个Block的多个wrap，也就是说，同一时刻，一个SM内，不止只有一个wrap在执行； 3，SM处理完一个Block后，才会处理下一个Block，也就是说例如SM可以同时处理3个Block，那么这3个Block的其中一个处理完后，才会处理第四个Block。 4，一个wrap的线程会分配到32个（假设一个wrap的线程数量是32）CUDA core，也叫stream proce
CUDA C编程（四）理解线程束执行的本质
AAAA202012的博客
12-04 2068
  对于我们来说，在内核中似乎所有的线程都是并行地运行的。这在逻辑上是正确的，但从硬件的角度来看，不是所有线程在物理上都是可以同时并行地执行。前面提到，线程束的概念是把32个线程划分到一个执行单元中，接下来从硬件的角度来介绍线程束执行，并能够获得指导内核设计的方法。 线 程 束 和 线 程 块   线程束是SM中基本的执行单元。当一个线程块被调度到一个SM上，线程块中的线程会被进一步划分为线程束。一个线程束由32个连续的线程组成，在一个线程束中，所有的县城按照单指令多线程(SIMT)方式执行；也就是说，所有
《CUDA并行程序设计-GPU编程指南》读书笔记--(1)线程网格、线程块以及线程
SigalHu
05-10 5044
线程网格、线程块以及线程
【参加CUDA线上训练营】--CUDA编程模型线程组织
weixin_47665864的博客
02-07 293
GPU在管理线程的时候是以block为单元调度到SM上执行，每个block中以warp作为一次执行的单位，每个warp包括32个线程。
CUDA中SM对线程块的调度
weixin_43282858的博客
07-16 4015
sm流处理器簇对blocks的调度策略 在cuda中，GPU中的SM（比如GTX650有两个SM处理器）被CPU调度器把线程块逐个分配到SM上，每个SM同时处理这个被分配的线程块，但是每次每个时刻只能处理一个warp的线程束。由于有时候存在读取等操作导致等待，那么SM会转而处理其他warp 来掩盖这个延迟。一个warp 的线程束不是在同一线程块中。 为什么 每次同时处理多个block，而且为什...
CUDA——SM中warp调度器调度机制&&访存延迟隐藏
weixin_44444450的博客
06-19 3665
SM中warp调度器调度机制&&访存延迟隐藏 核函数中并不是所有线程一起启动执行的，核函数的执行是以线程束(warps)作为单位，warps的执行由warp调度器进行调度，一个调度器只能调度一个warp去执行指令，一个warp里的所有线程几乎是同时执行的。 以一个warps调度器为例子： 假设一个核函数开启了128个线程，那么其被划分成4个warps。 1、调度器调度warp0执行指令。 2、warp0挂起(在进行访存)，调度器调度warp1执行指令 3、以此类推，只要有处于Ready
【cuda】——CUDA中SM对线程块的调度
怡宝2号
03-18 900
转载自:https://blog.csdn.net/weixin_43282858/article/details/96138469
GPU 编程 CUDA方法
07-25
GPU 编程 CUDA方法，清华大学并行编程课件。
C++面试八股文深度总结
04-22
根据自己备战22届秋招（斩获华为、荣耀、联发科、海康威视等offer）总结的相关知识，其中包括C++基础知识、操作系统、计算机网络、数据库等知识。希望对读者有帮助，助其在找工作的路上少走弯路，收获自己心仪的...
八股文大全！！面试必备，迎接秋招！！！
09-05
八股文大全！！面试必备，迎接秋招！！！
最全java八股文高级/资深面试题
03-14
历经几年呕心沥血整理，总共将近180页，史上最全java八股文面试题，高级/资深java都适合，涉及到的知识点有：Java基础、Spring/SpringMVC、SpringBoot、设计模式、多线程、集合、Java虚拟、网络TCP/IP、Redis/...
Java八股文超精炼面试题资料
03-29
Java八股文超精炼面试题资料，背这一份就足以通过面试。网络上Java八股文数不胜数，多的不知道该背哪一个版本，我只想说，不用犹豫，背这一版就对了。
八股文，面试必备，包含redis mysql 算法 线程 数据结构各种面试题
08-05
说结论：面试非常有用，在实际工作中，作用不大…八股文绝大部分都是理论知识，而这些理论知识绝大部分都偏底层，并且是又多又杂。而实际工作的时候，绝大部分同学都是写逻辑，调api，这个时候用处不大。当你真正在...
算法训练营第十一天 | LeetCode 20 有效的括号、LeetCode 1047 删除字符串中的所有相邻重复项
qq_63149342的博客
04-27 153
注意用的是字符串数组作为输入，而我们要用int型进行计算，这时候就要用到一个string转int类型的库函数stoi函数，aoti是字符数组转int类型。一个是最后循环结束后要判断栈内存是否为空，一个是出栈时要判断栈是否为空，总的来说是考验对于栈内存空间的掌控吧。这一题考栈的性质，相邻字符用未进栈的元素和进栈的元素进行模拟即可，相同且栈不为空即出栈，否则进栈，之后将栈内元素全部导入一个字符串，还要注意要写一个反转函数翻转下即可。LeetCode 1047 删除字符串中的所有相邻重复项。
leetcode16-3Sum Closest
最新发布
我的程序人生
04-29 270
这道题目和那道3Num的题目很类似，解题思路也是类似的，我们先对数组排序，然后固定一个元素，通过双指针遍历剩下的元素，用一个哨兵记录三个元素的和与target的diff，分别处理三个元素的和小于target，大于target，等于target这三种情况即可。请你从 nums 中选出三个整数，使它们的和与 target 最接近。解释：与 target 最接近的和是 2 (-1 + 2 + 1 = 2)。输入：nums = [-1,2,1,-4], target = 1。假定每组输入只存在恰好一个解。
代码随想录算法训练营第三十八天
weixin_41902984的博客
04-28 222
又又又欠两天债，不过回家了，一切可以按部就班，明天慢慢补吧，今天先做一课的内容。然后就是如果一次可以上m个阶梯的话应该怎么做，先把伪代码放上来。其实就是斐波那契数，不过需要理解一下过程。还好还好，动态规划第一天不太难。746. 使用最小花费爬楼梯。509. 斐波那契数。
java面试八股文 下载
09-06
Java面试八股文是指在准备Java面试时需要重点掌握的一些核心知识和常见问题。下载Java面试八股文是为了将这些知识和问题整理成一份文档，方便学习和准备。这份文档通常包含Java基础知识、Java集合框架、多线程、IO流...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值