[自动驾驶 SoC]-2 软硬协同

以GPU为例细说下AI芯片的软硬协同工作机制：

先说软件部分内核分派

1 编写和编译内核函数

1）编写内核函数

内核函数是运行在GPU上的函数，通常用CUDA或OpenCL编写

2）编译内核函数

使用专用编译器（如NVCC）将内核函数编译为GPU可执行的二进制代码。

2 准备运行时代码

编译后的二进制代码需要在运行时加载到主机程序中。

例如：

extern "C" {

    extern __global__ void myKernel(float *d_A);

}

int main() {

    float *d_A;

    size_t size = 256 * sizeof(float);

    // 分配设备内存

    cudaMalloc((void**)&d_A, size);

    // 内核参数设置

    dim3 grid(1);

    dim3 block(256);

    // 内存复制操作（如有需要）

    cudaMemcpy(d_A, h_A, size, cudaMemcpyHostToDevice);

    // 启动内核

    myKernel<<<grid, block>>>(d_A);

    // 设备到主机的内存复制操作

    cudaMemcpy(h_A, d_A, size, cudaMemcpyDeviceToHost);

    // 释放设备内存

    cudaFree(d_A);

    return 0;

}

3 形成命令队列

在CUDA中，启动内核时，运行时会形成内核启动命令并将其加入到CUDA流中。主机端运行时将内核启动命令等插入用于存放AQL(Architected Queuing Language)数据包的AQL队列中，AQL数据包含有与内核分派有关信息，如网格、工作组大小、内核函数信息等。

cudaStream_t stream;

cudaStreamCreate(&stream);

myKernel<<<gr