cudamemcpAsync

cudaMemcpyAsync是CUDA（Compute Unified Device Architecture）中的一个函数，用于在主机（CPU）和设备（GPU）之间异步传输数据。它可以在主机和设备之间进行内存复制操作，而不会阻塞主机线程的执行。

cudaError_t   cudaMemcpyAsync(  void* dst,           
                                                        const void* src,   
                                                        size_t count,
                                                        cudaMemcpyKind kind, 
                                                        cudaStream_t stream = 0);

• dst：目标内存地址，表示数据传输的目的地。
• src：源内存地址，表示数据传输的来源。
• count：要传输的数据字节数。
• kind：数据传输方向，包括以下几种选项：
  • cudaMemcpyHostToHost：主机到主机之间的内存复制。
  • cudaMemcpyHostToDevice：主机到设备之间的内存复制。
  • cudaMemcpyDeviceToHost：设备到主机之间的内存复制。
  • cudaMemcpyDeviceToDevice：设备到设备之间的内存复制。
• stream：可选参数，表示要使用的CUDA流。默认值为0，表示使用默认流 

使用cudaMemcpyAsync函数能够在主机和设备之间异步传输数据，从而提高性能。通过指定不同的kind参数，可以实现不同方向的数据传输。在传输数据时，可以选择使用CUDA流来进行并行操作，以进一步提高效率。

在上述示例中，我们首先使用cudaMallocHost和cudaMalloc函数在主机和设备上分配了内存。

①  使用cudaMemcpyAsync函数将数据异步传输到设备，并继续执行其他主机计算。

②  使用cudaMemcpyAsync将数据异步传输回主机。

③  在数据传输完成后，通过调用cudaDeviceSynchronize函数来等待数据传输的完成。

      最后，释放已分配的内存。

需要注意的是，使用cudaMemcpyAsync进行数据传输时，需要确保传输的数据是有效的，并且要在使用传输完成的数据之前进行同步。此外，还需要适当处理CUDA错误码，以确保数据传输的正确执行。

#include <cuda_runtime.h>
int main() {
    // 定义主机和设备上的内存
    int* hostData;
    int* deviceData;
    size_t dataSize = 1024 * sizeof(int);

    // 在主机和设备上分配内存
    cudaMallocHost((void**)&hostData, dataSize);
    cudaMalloc((void**)&deviceData, dataSize);

    // 将数据从主机复制到设备（异步方式）
    cudaMemcpyAsync(deviceData, hostData, dataSize, cudaMemcpyHostToDevice);

    // 在这里可以进行其他主机计算，不受数据传输的阻塞
    // 将数据从设备复制回主机（异步方式）
    cudaMemcpyAsync(hostData, deviceData, dataSize, cudaMemcpyDeviceToHost);

    // 等待数据传输完成
    cudaDeviceSynchronize();

    // 在这里可以使用传输完成的数据
    // 释放内存
    cudaFreeHost(hostData);
    cudaFree(deviceData);

    return 0;
}