肥宅Sean

Never give up~

排序:
默认
按更新时间
按访问量
RSS订阅

【解决方案】调用multiprocessing中创建的文件无法打开的问题FileNotFoundError: [WinError 2]

问题 在python多进程任务中,常常会使用共有的变量,交给Manager管理。 但是这样写入的到的文件,有时候会由于我们操作的遗漏。导致没办法在其他文件中打开对应的压缩文件。 比如报下面这样的错误: FileNotFoundError Traceb...

2019-05-16 15:50:31

阅读数 37

评论数 0

【OpenMP实现】任意线程数并行化快排结合Merge排序100w--10线程下只用0.06s

简述 通过这个标题也大概能猜测出算法的思想。 Merge操作是O(n)的(出自于MergeSort归并排序) 根据线程数将数据划分为thread_count块(较为均匀点就好了) 每段上用qsort(快排) 之后再用一个merge将所有的快排结果合并起来 算法思想很简单,但是效...

2018-12-29 11:41:02

阅读数 225

评论数 0

MPI派生数据类型发送接收,降低发送时间

简述 在很多并行计算问题中,最消耗时间的其实是在进程间交互的情况。 所以,如果能降低在进程间的交互速度,那绝对是有帮助的。这就是学MPI派生数据类型的原因。 派生数据类型 非常繁琐… 但是也没办法啦 派生部分的代码和注释 // 创建自定义数据类型 // { int[3], double[5]...

2018-12-28 21:19:04

阅读数 242

评论数 0

【MPI高性能计算】用集合通信改进梯形求和积分

简述 【MPI高性能计算】梯形面积积分计算 里面有梯形积分公式的具体写法 这里采用MPI_Reduce的集合通信的方式来计算 API int MPI_Reduce(const void *sendbuf, void *recvbuf, int count, MPI...

2018-12-28 13:57:03

阅读数 72

评论数 0

CUDA编程--并行矩阵向量乘法【80+行代码】

简述 矩阵向量乘法。 读取文件data.txt 并输入到output.txt文件中 用typedef方便的修改数据类型(要是写成模板也是可以的) 代码 #include "cuda_runtime.h" #i...

2018-12-23 14:39:42

阅读数 379

评论数 0

CUDA编程--实现并行矩阵乘法【80行代码】

简述 这里只写了方阵之间的乘法,但是本质上都是一样的。 我测试过100规模的方阵之间的乘法,没有问题。 代码 读取文件data.txt 数据格式就是一个数值N,然后来连续的两个N*N的矩阵。用空格隔开。 #include "cuda_runti...

2018-12-23 13:10:54

阅读数 300

评论数 0

CUDA遇到在VS创建的项目运行报C1041错误

简述 虽然感觉这个没多少人 会跟我一样遇到 但是还是感觉有必要写下来。 万一有其他人也遇到了这个问题,大概可以省这个哥们好几个小时(甚至好几天的时间吧?) 文章目录简述我的经历解决办法后记 我的经历 我以前为了方便 让cmd自动跳转到对应的目录下,在注册表下,给cmd添加了一个autorun的操作...

2018-12-22 22:33:13

阅读数 265

评论数 0

count_sort计数排序OpenMP的并行化

简述 计数排序,就是统计某个数值在所有的数字中所应该存在的位置,然后,放到一个确定的位置上。非常简单的排序算法。 程序 会读取data.txt中的文件 数据的样子 10 0 2 3 1 4 8 6 7 5 9 效果 PS D:\C++\VS\repo\OpenMP-TEST\Debug...

2018-12-21 14:48:39

阅读数 154

评论数 0

梯形积分法【OpenMP实现】多个版本

简述 会用多个版本来写。操作是用命令行来操作。 除了第二版本是在内容上基于第一个版本的完善,其他都是降低算法的复杂程度的,可以放心阅读文章目录简述版本1版本2版本3版本4 版本1 要求n被thread_count整除 不然可以会有计算错误。 #include <iostr...

2018-12-21 11:32:44

阅读数 325

评论数 1

OpenMP在Windows下用VS使用

简述 直接新建一个项目来使用就好了。 在项目中需要把C++\语言中把对openMP的支持选择是。 否则程序只会调用一个线程。 代码 #include <iostream> #include <omp.h> ...

2018-11-27 09:34:58

阅读数 323

评论数 0

【MPI编程】矩阵向量乘法--解法三(子矩阵块分解)【高性能计算】

简述 子矩阵分解,就是说,将原来的矩阵给分解为更小的矩阵块。 让所有的线程都共享有向量(但不共享矩阵) 为了试验简单,这里做了几个简单的假设 矩阵为方阵(n*n) comm_sz(线程数量)和n满足下面的关系 n被commsz\sqrt{comm_sz}comms​z​整除 comm_sz...

2018-11-26 22:55:36

阅读数 538

评论数 0

【MPI编程】矩阵向量乘法--解法二(高性能计算)

简述 有留心过的朋友可能会发现,其实我没写过解法一。 因为解法一就是大家最直观的感受的一种解法。 将矩阵按照行划分,之后,再每个线程都用整个向量跟这个块做内积。之后,传回来一个数值。 这里的方法二, 将矩阵按照列进行划分。然后将列向量传递给所有的线程,之后,再传对应的向量的对应的元素,给这个...

2018-11-26 17:52:37

阅读数 1073

评论数 0

【MPI编程】MPI_Bcast广播讲解和使用

函数范式 int MPI_Bcast( void * data_p; int count; MPI_Datatype datatype; int source_proc; MPI_Comm comm; ); 实例 功能描述: 下面实现了0件进程读取数据,并广播给所有其他线程。 ...

2018-11-20 09:40:20

阅读数 1329

评论数 0

【MPI程序】向量乘法,向量点积(高性能计算)

简述 假设,调用的节点数量整除向量的秩。 高性能算法 让0节点来读取文件数据 所有的节点都负责计算,然后,这里使用的是块分配法。 其他的都是接受到数据之后,再进行计算。 而0节点由于需要负责传输和调度,所以它会在发送数据之后,再进行计算本地的块。之后,再来接受和保存数据。 运行效果 输入的数据为...

2018-11-06 00:35:34

阅读数 326

评论数 1

【MPI高性能计算】蒙特卡洛方法计算pi值

蒙特卡洛方法 就是通过概率模拟来近似计算。 其实算法进度不是很高。 代码 在下面代码中的input文件中的内容是 10000000 运行效果:下面用四个核来做计算 PS D:\C++\VS\repo\MPI-DEMO\Debug> mpiexec -n 4 ./MP...

2018-10-30 08:42:46

阅读数 721

评论数 0

windows 10配置VS+MPI编程环境

简述 参考了 https://www.cnblogs.com/shixiangwan/p/6626156.html 其实不改那个x64也是可以的,如果使用x86,就需要导入库的时候,选x86就好了。其他不影响。 但是他给的代码其实不是那么好,用我下面的代码,就可以直接运行就好了~ #inc...

2018-09-25 08:50:30

阅读数 354

评论数 0

笔趣阁(www.qu.la)小说爬取代码(python实现)

import requests import os import gevent from gevent import monkey import random import re from lxml import etree from bs4 import BeautifulSoup monke...

2018-06-26 22:51:13

阅读数 1532

评论数 0

生产者跟消费者问题(C++实现)

代码简述 T 表示有T个生产者。同时也有T个消费者。 然后每个生产者总共生产T个数据。 每个消费者总共消费T个数据。 N表示最大随机数大数值 那个信号量的实现,我是直接copy课件上的。 代码 #include <iostream&amp...

2018-06-26 00:26:49

阅读数 1200

评论数 0

多协程爬取中大微博内容(以及转发数,点赞数,评论数)

这个是在之前的微博爬取(Python)–中大微博前100条微博内容以及评论转发点赞数目爬取 的并发版本 代码 import requests from gevent import monkey import gevent monkey.patch_all(select=False) f...

2018-06-20 10:08:28

阅读数 2824

评论数 2

爬取猫眼电影前100名(获取图片并记录名字跟排名)

简述 代码实现上,这个可以说是不难的。但是需要注意的是,这里的有一些细节得注意一下。 协程的,gevent.joinall() 需要的是一个可以迭代的对象,但是内容必须是gevent.spawn()这个类 这里有些小东西,比如在network上得到的包的内的数据(也就是直接爬取得到的数据,其...

2018-06-14 21:43:36

阅读数 618

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭