- 博客(9)
- 收藏
- 关注
原创 使用python多GPU任务分配
背景:在做地震波正演时需要逐炮进行正演,这里面涉及到多节点、多GPU的任务分发工作。前人之前写的版本静态分发任务,不能满足节点内部GPU算力不同(比如两张1080Ti两张780Ti)而导致的计算时间浪费。所以考虑使用动态任务分配进行GPU调度。代码链接:https://github.com/sh39o/Acoustic3d-fd目的:使用python将诸多任务动态分配到空闲的GPU上进行运...
2019-05-20 21:36:27 9703
原创 pandas存储pkl格式报错invalid argument错误解决方法
pandas 存储pickle如果出现 22 invalid argument错误的时候,有可能就是pickle不支持将如此大的数据序列化,可考虑使用hdf格式存储,和pickle有相似的速度,但是对大文件兼容的更好。import pandas as pddf = pd.DataFrame()df.to_hdf('data.hdf', key='data') ...
2019-03-02 23:36:34 1234
翻译 Devito:计算流体力学和勘探地球物理方程的有限差分计算软件包
最近发现了一个勘探地球物理非常好的一个软件包, 该软件包支持使用conda安装, 同时支持docker,可以实现不用接触底层代码, 快速实现一个自己的idea, 实为科研利器. 并且该软件非常活跃, 在github上保持持续更新(https://github.com/opesci/devito). 同时该软件包有比较全的帮助文档和示例文档, 很大的降低了软件的学习难度.Devito...
2019-02-20 13:48:54 1554
原创 openCV-python实现幻灯片渐变效果
目标:使用OpenCV实现幻灯片渐变的效果。原理:渐变效果实际上是两张图片的加权叠加,new image = alpha * image 1 + ( 1 - alpha ) *image 2就可以得到一张同时含有两张照片的合成图。当alpha=1时,新图像就为image 1,当alpha=0时相反,实现图片的渐变效果需要将alpha连续的从1变到0。 opencv提供了addWeighted函数实...
2018-03-16 19:08:24 4586
原创 非结构网格下寻找n层边缘网格单元的算法
目的:在一张非结构网格当中寻找最外n层的边缘网格原理:在二维情况下,如果有两个网格相连,那么一定会在中间有一条公共边,这条公共边属于这两个网格,但是对于边缘网格,一定存在一条边只属于该网格自己。三维情况下,公共边对应为公共面,即两个相邻网格单元中间存在一公共面,该公共面同时属于这两个网格单元,而对于边缘网格单元,必定存在一个单独的面只属于一个网格单元。通过遍历每个网格,统计每一条边(面)的遍历次数...
2018-03-13 23:00:14 1364
原创 使用Python读取二进制文件
目标:目标文件为一个float32型存储的二进制文件,按列优先方式存储。本文使用Python读取该二进制文件并使用matplotlib.pyplot相关工具画出图像 工具:Python3, matplotlib,os,struct,numpy 1. 读取二进制文件 首先使用open函数打开文件,打开模式选择二进制读取"rb"。f = open(filename, ...
2018-03-13 09:00:25 84701 4
原创 “支部工作”的网络爬虫实践(一)
引言:前一阵子学习python网络爬虫,于是拿“支-部-工作”的网站练练手,初步实现了自动登录,cookie管理,阅读n条新闻并发表评论,学习未学习过的内容并发表评论。关键字:网络爬虫,OCR,开发环境:Python3.6, Chromedriver/ (PhantomJS),依赖库: BeautifulSoup4, openCV-python, PIL, pickle, pyocr, rando...
2018-02-27 15:53:56 418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人