![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
并行计算
文章平均质量分 94
df12138
Graduate at University Science and Technology of China. This is my home page: https://dingfen.github.io/
展开
-
torch nn Linear 大揭秘——从python到CUDA
从顶到低剖析 nn.Linear ,一起探讨 pytorch 的秘密原创 2024-02-28 00:04:06 · 1210 阅读 · 0 评论 -
并行求和算法实现
题目描述有 NNN 个处理器,现对 NNN 个数求和,要求每个处理器中都保持全和。有两个算法可以实现:蝶式求和算法:重复计算元素的求和,共需要 logNlogNlogN 步。在每个阶段,处理器都会将数据发给指定的其他处理器,然后进行求和。二叉树求和算法,累计求和,在广播给其他节点,需要 2logN2logN2logN 步蝶式算法实现首先需要假定:数据均匀地分布在每一个处理器中,特别地,每个处理器中只有一个数字。但求和必然要求所有的数据,蝶式算法就是将数据从少到多,一步一步地累加起来。编程时,可原创 2021-10-20 16:58:52 · 3704 阅读 · 0 评论 -
对一并行程序实验的简单理解
title: “对一并行程序实验的简单理解”excerpt: “关于MPI编程的一点技巧,以及对矩阵优化的一些简单理解”type: postsclasses:categoriescategories:MPI&OpenMPtags:MPIheader:overlay_image: “/assets/img/teaser2.jpg”写在前面使用一维数组在写并行程序时,会遇到很多针对矩阵、张量的计算,尽管它们都是以多维数组的方式组合在一起,但一般情况下,我更加倾向于使用.原创 2021-10-20 15:31:01 · 373 阅读 · 0 评论