CUDA:常用函数2

cudaDeviceSynchronize()

cudaDeviceSynchronize() 是一个 CUDA 函数，它确保所有之前发出的、与当前设备（GPU）关联的主机（CPU）线程中的 CUDA API 调用都已完成执行。

主机与设备异步执行：在 CUDA 编程模型中，主机（通常是 CPU）和设备（通常是 GPU）是异步执行的。这意味着当主机代码启动一个核函数后，它不会等待该核函数完成就继续执行后续的主机代码。同样，当主机代码执行一个数据从主机传输到设备的操作时，它也不会等待数据传输完成就继续执行。

同步的必要性：由于这种异步性，有时我们需要确保在继续执行主机代码之前，之前的核函数或数据传输操作已经完成。这就是 cudaDeviceSynchronize() 的用处。

阻塞主机线程：调用 cudaDeviceSynchronize() 会阻塞调用它的主机线程，直到之前启动的所有核函数和/或数据传输操作都完成。

错误检查：除了同步操作，cudaDeviceSynchronize() 还可以用于错误检查。如果在之前的核函数执行或数据传输中发生了错误，那么在调用 cudaDeviceSynchronize() 时，这个错误会被捕获并返回给主机。

性能考虑：虽然 cudaDeviceSynchronize() 很有用，但频繁使用它可能会导致性能下降，因为它会阻塞主机线程。因此，在设计 CUDA 程序时，应仔细考虑何时需要同步，并尽量减少不必要的同步操作。

与其他同步原语的区别：CUDA 还提供了其他同步原语，如流（streams）和事件（events）。与 cudaDeviceSynchronize() 相比，它们提供了更细粒度的同步控制，但使用起来也更复杂。例如，可以使用流来重叠执行不同的核函数和数据传输操作，以提高 GPU 的利用率。而事件则可以用于测量 GPU 上操作的执行时间。

cudaDeviceSynchronize() 和 cudaThreadSynchronize() 的主要区别在于它们的作用范围：
cudaThreadSynchronize(): 这个函数仅同步当前主机线程，确保该线程发出的所有 CUDA 操作都已完成。其他主机线程可能仍在执行。
cudaDeviceSynchronize(): 这个函数同步与当前设备关联的所有主机线程。它确保与该设备关联的所有主机线程发出的 CUDA 操作都已完成。

在实际应用中，使用哪一个函数取决于你的同步需求。
如果你只关心当前线程是否完成了其 CUDA 操作，那么可以使用 cudaThreadSynchronize()。
如果你需要确保与特定设备关联的所有线程都完成了它们的 CUDA 操作，那么应该使用 cudaDeviceSynchronize()。

详细解释：

#include <stdio.h>  
#include <cuda_runtime.h>  
  
// 假设我们有一个简单的CUDA核函数  
__global__ void simpleKernel(int *d_array, int arraySize) {  
    int index = threadIdx.x + blockIdx.x * blockDim.x;  
    if (index < arraySize) {  
        d_array[index] = index * index; // 计算平方  
    }  
}  
  
int main() {  
    const int arraySize = 100;  
    int h_array[arraySize]; // 主机上的数组  
    int *d_array; // 设备上的数组  
  
    // 分配设备内存  
    cudaMalloc((void**)&d_array, arraySize * sizeof(int));  
  
    // 设置核函数参数  
    int blocks = (arraySize + 255) / 256; // 计算所需的块数  
    int threads = min(256, arraySize); // 计算每块的线程数  
    simpleKernel<<<blocks, threads>>>(d_array, arraySize);  
  
    // 等待GPU上的操作完成  
    cudaDeviceSynchronize();  
  
    // 将结果从设备复制回主机  
    cudaMemcpy(h_array, d_array, arraySize * sizeof(int), cudaMemcpyDeviceToHost);  
  
    // 再次同步，确保数据已复制到主机  
    cudaDeviceSynchronize();  
  
    // 现在，我们可以安全地访问h_array中的数据  
    for (int i = 0; i < arraySize; i++) {  
        printf("%d ", h_array[i]);  
    }  
    printf("\n");  
  
    // 释放设备内存  
    cudaFree(d_array);  
  
    return 0;  
}

cudaThreadSynchronize()

cudaDeviceSynchronize()是当前推荐使用的函数，因为它提供了更广泛的同步功能，并可能在未来的CUDA版本中继续得到支持。相反，cudaThreadSynchronize()已被标记为过时，可能在未来版本中被移除。

cudaDeviceReset()

cudaDeviceReset() 是 CUDA 的一个函数，用于重置当前 GPU 设备，释放所有与该设备关联的资源，如内存和缓存。在 CUDA 编程中，有时可能会遇到资源泄漏问题，这时可以使用 cudaDeviceReset() 来清理并释放这些资源。

当你在 CUDA 程序中调用 cudaDeviceReset() 时，它会执行以下操作：
停止所有 GPU 线程。
清除所有在 GPU 上的缓存和内存。
释放所有与当前 GPU 设备关联的资源。

这个函数通常在程序结束时或者在出现严重错误后使用，以确保所有资源都被正确释放，避免资源泄漏和其他潜在问题。
示例：

// ... 在你的 CUDA 代码中 ...  
  
// 执行一些 GPU 操作  
// ...  
  
// 在程序结束时，重置 GPU 设备  
cudaDeviceReset();

需要注意的是，cudaDeviceReset() 会停止所有正在运行的 GPU 线程并清除所有资源。因此，在调用这个函数之前，需要确保所有的 GPU 操作都已完成或已正确停止。