CUDA C编程权威指南第六章流和并发

最新推荐文章于 2024-09-26 16:23:28 发布

Claroja

最新推荐文章于 2024-09-26 16:23:28 发布

阅读量299

点赞数

分类专栏： cuda 文章标签： cuda

本文链接：https://blog.csdn.net/claroja/article/details/103855466

版权

cuda 专栏收录该内容

27 篇文章 2 订阅

订阅专栏

流

cuda流

流分为两种类型:1)隐式声明流(空流),2)显式声明流(非空流)
cudaError_t cudaMemcpyAsync(void* dst,const void* src, size_t count,cudaMemcpyKind kind,cudaStream_t stream = 0);异步拷贝版本
cudaError_t cudaStreamCreate(cudaStream_t* pStream);创建可以显式管理的非空流,返回到pStream中的流就可以被当做流参数供cudaMemcpyAsync和其他异步的CUDA的api使用
当异步传输数据时,必须使用固定(非分页的)主机内存,使用cudaMallocHost函数或者cudaHOstAlloc函数
在非默认流中启动内核,必须在内核执行配置中提供一个流标志符作为第四个参数:kernel_name<<<grid,block,shareMemSize, stream>>>(argument list);
使用cudaError_t cudaStreamDesytroy(cudaStream_t stream);当流中仍然有未完成的工作,cudaStreamDestroy函数会立即返回,当流中的工作都已经完成时,与流相关的资源将被自动释放
CUDA的api提供两个函数检查流中所有操作是否已经完成:

cudaError_t cudaStreamSynchronize(cudaStream_t stream);//强制阻塞主机,直到流中所有的操作都完成了
cudaError_t cudaStreamQuery(cudaStream_t stream);//不会阻塞,当所有操作完成时,返回`cudaSuccess`,否则返回`cudaErrorNotReady`

在这里插入图片描述

Hyper-Q

允许多个CPU线程或进程在单一的GPU上同时启动工作
cudaError_t cudaStreamCreateWithPriority(cudaStream_t* pStream, unsigned int flags, int priority);设定流的优先级
cudaError_t cudaDeviceGetStreamPriorityRange(int *leastPriority, int *greatestPriority);返回值存放在leastPriority和greatestPriority中,如果设备不支持优先级,则返回0

cuda事件

事件声明:cudaEvent_t event;
cudaError_t cudaEventCreate(cudaEvent_t* event);创建一个事件
cudaError_t cudaEventDestroy(cudaEvent_t event);销毁事件
cudaError_t cudaEventRecord(cudaEvent_t event,cudaStream_t stream = 0);事件在流执行中标记了一个点
cudaError_t cudaEventSynchronize(cudaEvent_t event);等待或测试在指定流中闲钱操作的完成情况,等待一个事件会阻塞主机线程的调用,类似于cudaStreamSynchronize,但是其允许主机等待流执行的中间点.
cudaError_t cudaEventQuery(cudaEvent_t event);测试一个事件是否可以不用阻塞主机应用程序来完成
cudaError_t cudaEventElapsedTime(float* ms, cudaEvent_t start, cudaEvent_t stop);计算被两个事件标记的CUDA操作的运行时间