Cuda并行编程笔记（三）Reduce & Scan & Histogram

最新推荐文章于 2024-07-06 16:21:39 发布
最新推荐文章于 2024-07-06 16:21:39 发布
阅读量3.8k 收藏 4
点赞数
分类专栏： cuda 深度学习 文章标签： cuda parallel programming gpu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39560336/article/details/81429511
版权
本文是Udacity的CUDA并行编程课程笔记，介绍了Reduce、Scan和Histogram的概念与实现。Reduce操作通过二元可结合运算进行并行计算，复杂度为log2(n)。Scan包括Hillis & Steele’s算法和Blelloch扫描算法，不同算法具有不同的计算复杂度。Histograms部分探讨了直方图统计的不同方法，包括原子操作、线程局部直方图和按键排序后再归约。
摘要由CSDN通过智能技术生成

Intro to Parallel Programming CUDA - Udacity 458
https://www.youtube.com/playlist?list=PLGvfHSgImk4aweyWlhBXNF6XISY3um82_

这是udacity的一个cuda并行编程的视频笔记，网址在上，翻墙即得。
顺便附上源码：https://github.com/aramadia/udacity-cs344

这是原视频的Unit3, 之前的笔记暂未整理，有空附上。

Reduce

reduce操作: 对二元可结合运算（没有先后顺序），前一项结果作为后一项输入。

  • a) Binary
  • b) Associativity

并行reduce: 两两结合, 复杂度：log2(n)
Parellel reduce

编程实现：
比如我们要reduce 1024*1024的矩阵
我们会运行1024个block, 每个block开1024个线程。
每个block中将后一半加到前一半，直到值归到第一个线程，将1024*1024 reduce为1024，再用一个bl

最低0.47元/天 解锁文章
月球上的人duo
关注
专栏目录
CUDA系列学习（五）GPU基础算法: Reduce, Scan, Histogram
Rachel Zhang的专栏
06-25 4万+
喵~不知不觉到了CUDA系列学习第五讲，前几讲中我们主要介绍了基础GPU中的软硬件结构，内存管理，task类型等；这一讲中我们将介绍3个基础的GPU算法：reduce，scan，histogram，它们在并行算法中非常常用，我们在本文中分别就其功能用处，串行与并行实现进行阐述。 1. Task complexitytask complexity包括step complexity（可以并行成几个操作
CUDA编程指南阅读笔记
Augusdi的专栏
10-09 1万+
随着多核CPU和众核GPU的到来，并行编程已经得到了业界越来越多的重视，CPU-GPU异构程序能够极大提高现有计算机系统的运算性能，对于科学计算等运算密集型程序有着非常重要的意义。这一系列文章是根据《CUDA C语言编程指南》来整理的，该指南是NVIDIA公司提供的CUDA学习资料，介绍了CUDA编程最基本最核心的概念，是学习CUDA必不可少的阅读材料。 初学CUDA，笔记错误之处在所难免，还请发
【CUDA】 扫描 Scan
最新发布
weixin_68880273的博客
07-06 972
Kogge-Stone's Algorithm最初是为设计快速加法电路而发明的。该算法如今被用于设计高速计算机算术硬件。图1是该算法的示例。图1Kogge-Stone's Algorithm，所有线程将迭代直到log2N步骤。Kogge-Stone's Algorithm完成Scan操作所需的工作量接近Nlog2N。Kogge-Stone's Algorithm将需要大约Nlog2NP的时间步骤才能完成(P 执行单元的个数)。
CUDA编程笔记（1）
weixin_41311686的博客
01-13 698
CUDA编程的学习，需要熟练的掌握C/C++编程的基础及操作系统方面的知识。CUDA编程是通往高性能计算的道路，学习掌握cuda编程，将其运用在一些计算机视觉的部署任务中是十分常见和高效的。
5.2 CUDA Histogram直方图
weixin_34159110的博客
01-08 360
什么是Histogramming Histogramming是一种从大的数据集中提取典型特征和模式的方式. 在统计学中，直方图（英语：Histogram）是一种对数据分布情况的图形表示，是一种二维统计图表，它的两个坐标分别是统计样本和该样本对应的某个属性的度量。 图像直方图（英语：Image Histogram）是用以表示数字图像中亮度分布的直方图，标绘了图像中每个亮度值的像素数。可以借助观...
[system-track][computing][cuda]parallel reduce/scan/qsort
giantpoplar的专栏
03-14 284
recursive version void exclusive_scan_recursive(int* start, int* end, int* output, int* scratch) { int N = end - start; if (N == 0) return; else if (N == 1) { output[0] = 0; return; } // sum...
CUDA 基础算法之reduce、scan、histogram
lei_h11的博客
12-30 2904
前言 之前对于CUDA的学习基本上就是不会就查，拿来就用的状况，对一些基础算法的了解不是特别深，之前在面试的时候还有被问到scan扫描算法计算数组的前缀和，表示还没有详细的了解以致只能尴尬地说不清楚，是真的贼尴尬啊，后来去学了些视频课，才逐渐有了一些些基础。（说起来之前还不知道有step complexity 和 work complexity这两种复杂度呢） 1、step and work co...
CUDA系列学习（五）GPU基础算法 Reduce Scan Histogram
kahncc的博客
11-10 524
CUDA系列学习（五）GPU基础算法 Reduce Scan Histogram
Cuda-Histogram:支持CUDA的GPU的广义直方图
05-12
广义CUDA直方图v0.1自述文件 版权所有Teemu Rantalaiho 2011-2012-电子邮件：“ firstname”。“ lastname” @ helsinki.fi 此文件包含快速介绍，以及有关如何将通用直方图代码用于支持CUDA的GPU的快速说明。 该...
CUDA(六). 从并行排序方法理解并行化思维——冒泡、归并、双调排序的GPU实现
热门推荐
Rachel Zhang的专栏
09-14 4万+
在第五讲中我们学习了GPU三个重要的基础并行算法： Reduce, Scan 和 Histogram，分析了 其作用与串并行实现方法。 在第六讲中，本文以冒泡排序 Bubble Sort、归并排序 Merge Sort 和排序网络中的双调排序 Bitonic Sort 为例， 讲解如何从数据结构课上学的串行并行排序方法转换到并行排序，并附GPU实现代码。 在并行方法中，我们将考虑到并行方法需要注意
mars_cuda_mapreduce
12-20
mars 是基于cuda实现的 mapreduce模型，与其他相比，有较高的效率
CUDA——reduce算子及优化（Ⅰ）
weixin_46706926的博客
04-12 1145
在以上for循环中，index = 1时，if(tid%2==0) 偶数id的线程，执行smem[tid] += smem[tid + 1]，例如tid=0时，smem[0]+=smem[0+1];将1号线程的值加到0号线程上，并保存到0号线程。在优化（Ⅰ）中，我们在shared memory上做并行规约计算，然后把最终结果先存在shared memory[0]，再把结果写回显存。可以看到，对8个数据而言，串行和并行（2、3方式）的实现效率已经对比很明显了，时间复杂度O（N）与O（log(N))。
CUDA 统计数组直方图
yan31415的博客
12-25 888
#include "cuda_runtime.h" #include "device_launch_parameters.h" #include <stdio.h> #include <stdlib.h> #include <string> #include <cooperative_groups.h> #include <iostream> #define HISTOGRAMGRID 36 #define HISTOGRAMBLOCK 1.
CUDA算法：统计直方图（以及优化加速）
DevinTT的专栏
04-17 3837
直方图是用来统计像素灰度值分布的一种方法，同理也可以统计RGB色素的分布。调整图像的对比度则需要直方图分布概率，才能进行灰度变换。 对于CUDA来说，可以并行读取多个像素点的值，然后进行统计，但是统计过程则是串行的。这里需要使用CUDA串行指令“原子操作”。 核函数： __global__ void cudaMatHistogram(CudaImg8Mat *cudaMat, unsign...
CUDA: (七) Histogram Calculation(GPU vs CPU), Atomic Operations
Felaim的博客
02-05 770
Atomic Operation 什么叫Atomic operation（原子操作）呢？或者说在什么情况下我们需要进行Atomic operation呢？ 考虑一种情况，我们会经常出现这样一个问题，例如有大量的线程尝试修改少量内存，或者当我们尝试执行读取-修改-写入操作时，将会产生更多的问题，例如加一操作，当多个线程在同一内存位置上执行此操作时，可能会给出错误的输出。 举个实际例子： 假设一个...
并行scan算法 Hillis Steels 和 Blelloch
shungry的博客
07-01 1170
Hillis/Steels算法 Blelloch算法： 相互比较：
CUDA初学者-Thrust - Algorithms - Reductions（4）
u011732139的博客
05-16 462
本人 CUDA小白一枚，要是有什么不对，还望各位大佬指点。 本文及后面的几篇将分别从几个方面来大概阐述一下Thrust的一些接口。原来的网址在这里。 1.Algorithms 1.4 Reductions 1.4.1 reduce template<typename DerviedPolicy, typename InputIterator> __host__ __device__ thrust::iterator_traits< InputIterator >::value_ty
CUDA编程——Mars：MapReduce on GPU
Zhang Junior 的博客
01-19 4986
CUDA编程——Mars：MapReduce on GPUGPU加速机器学习　　GPU是一种SIMT（单指令多线程）体系结构，即多个线程执行同一个指令，而每个线程操作的数据不同。这种结构令GPU天生具有大规模计算能力。GPU出色的浮点计算性能特别提高了深度学习两大关键活动：分类和卷积的性能，同时又达到所需的精准度。深度学习需要很高的内在并行度、大量的浮点计算能力以及矩阵预算，而GPU可以提供这些能力
for (MinValue = 0; MinValue < 256 && HistoGram[MinValue] == 0; MinValue++) ; //获取最小灰度的值 for (MaxValue = 255; MaxValue > MinValue && HistoGram[MinValue] == 0; MaxValue--) ; //获取最大灰度的值
06-01
此处的 `HistoGram` 是一个长度为256的数组，用于记录图像中每个灰度级别的像素个数。 首先，循环遍历直方图数组，找到第一个计数器不为0的灰度级别，即为最小灰度值。这里使用了一个空语句 `;` 作为循环体，相当于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值