转载请指明出处http://www.cnblogs.com/
文章平均质量分 65
处女座程序员的朋友
这个作者很懒,什么都没留下…
展开
-
用FFT加速特殊矩阵的矩阵向量乘运算
Toeplitz矩阵和循环矩阵。转载 2022-07-22 16:23:01 · 292 阅读 · 0 评论 -
PyTorch 单机多卡操作总结:分布式DataParallel,混合精度,Horovod)
作者丨科技猛兽@知乎来源丨https://zhuanlan.zhihu.com/p/158375055导读本文介绍了数种实现单机多卡操作的方法,含有大量代码,并给出了实践中作者踩过的坑及其解决方案。在上一篇文章中(https://zhuanlan.zhihu.com/p/158375254)我们看到了多GPU训练,也就是最简单的单机多卡操作nn.DataParallel。但是很遗憾这种操作还不够优秀,于是就有了今天这篇文章~写这篇文章的时候看了很多的tutorials,附在文..转载 2021-12-19 15:19:46 · 972 阅读 · 0 评论 -
centos 7 python3.6升级到python3.8
0 订阅订阅专栏1、下载python3.8安装包a、下载:cd /usr/downloadwget https://www.python.org/ftp/python/3.8.1/Python-3.8.1.tgzb、解压文件:tar -xvf Python-3.8.1.tgz2、移除旧版本a、删除旧版本的软链接rm -rf ./python3rm -rf ./pip3b、清空旧版本的存放内容cd /usr/local/python3 rm -rf.转载 2021-12-18 23:16:17 · 4581 阅读 · 0 评论 -
机器学习分布式框架horovod安装 (Linux环境)
1、openmi 下载安装 下载连接: https://download.open-mpi.org/release/open-mpi/v4.0/openmpi-4.0.1.tar.gz 安装命令 12345 shell$ gunzip -c openmpi-4.0.1.tar.gz | tar xf -shell$ cd openmpi-4.0.1shell$ ./configure --prefix=/usr/local<..转载 2021-12-18 21:55:32 · 987 阅读 · 0 评论 -
如何安装Horovod?
如何安装分布式训练的Uber的神器horovod的GPU版本?这个是英文的介绍。一共分3步。安装NCCL2 安装OpenMpi 安装horovod注意!!!注意!!!注意!!!最新版本的horovod要求tensorflow>=1.15.0版本。一、安装NCCL2首先先去下载NCCL2。地址下载需要先注册Nvidia的账号,做一个非常简单的问卷。下载对应的Local installers,安装repository。注意系统的版本和CUDA的版本。比如我是Ubuntu1转载 2021-12-18 21:54:17 · 1490 阅读 · 0 评论 -
tensorflow单机多卡训练
之前没怎么接触tensorflowgithub例子https://github.com/arashno/tensorflow_multigpu_imagenethttps://github.com/aymericdamien/TensorFlow-Examples/tree/master/examples/6_MultiGPU官方示例:https://github.com/tensorflow/models/tree/r1.13.0/tutorials/image#转载 2021-12-18 15:43:08 · 1237 阅读 · 0 评论 -
torch-sparse系列安装报错,通用解决方法
题主环境:Win10 python3.7 conda 4.9.2 torch1.7.0 + CU101 已经安装成功了torch_geometric==1.7.0安装失败提示:error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools原因分析:torch-sparse、torch_scatter、torch_cluster等模块编译需要依赖Visual C++ 14...原创 2021-12-11 00:31:42 · 3045 阅读 · 0 评论 -
PyTorch单机多卡分布式训练
几个比较常见的概念:rank: 多机多卡时代表某一台机器,单机多卡时代表某一块GPUworld_size: 多机多卡时代表有几台机器,单机多卡时代表有几块GPUlocal_rank: 多机多卡时代表某一块GPU, 单机多卡时代表某一块GPU单机多卡常用的启动方式为torch.distributed.launch。在启动器启动python脚本后,在执行过程中,启动器会将当前进程的index 通过参数传递给 python,我们可以这样获得当前进程的 index:即通过命令行参数 --local_转载 2021-11-06 19:37:14 · 2887 阅读 · 0 评论 -
如何在单机上搭建分布式深度学习环境?以Pytorch+cuda+mpi on LXC为例
环境:Manjaro - arch linux框架:pytorch 1.0-cuda-10.0Nividia driver:410cuda:10.0前言为了在单机上跑起分布式实验的环境,我选择了lxc作为容器(可以类似的看作为docker,docker就是基于LXC的),来在一台PC上跑起多个实验环境。使用lxc,可以方便的进行容器的管理,也能方便的克隆镜像。同时,LXC支持,多个虚拟化的环境中共享使用一个GPU,只需要将显卡设备对应的文件挂载到 LXC 容器中就能解决这个问题。在安装前,请转载 2021-11-06 19:35:47 · 1149 阅读 · 0 评论 -
PyTorch 单机多卡操作总结:分布式DataParallel,混合精度,Horovod)
在上一篇文章中(https://zhuanlan.zhihu.com/p/158375254)我们看到了多GPU训练,也就是最简单的单机多卡操作nn.DataParallel。但是很遗憾这种操作还不够优秀,于是就有了今天这篇文章~写这篇文章的时候看了很多的tutorials,附在文末了,在此先向文末的每位作者致敬,感谢大佬们!其实单机多卡的办法还有很多(如下),而且上篇的方法是相对较慢的。1、nn.DataParallel简单方便的 nn.DataParallel2、torch.distr.转载 2021-11-06 19:34:39 · 960 阅读 · 0 评论 -
PYTHON 之 bytes、str和int之间的一些转换
1、bcd和string的相互转换import binasciib = b'\x12\x34's = binascii.b2a_hex(b).decode()#b'\x12\x34'->'1234's = '1234'b = binascii.a2b_hex(s)#'1234'->b'\x124'=b'\x12\x34'123456782、bytes和int的相互转换b = b'\x12\x34'n = int.from_bytes(b,byteorder='bi...转载 2021-06-27 13:24:32 · 705 阅读 · 0 评论 -
什么是平衡(AVL)树
这篇文章通过对话的形式,由浅入深带你读懂 AVL 树,看完让你保证理解 AVL 树的各种操作,如果觉得不错,别吝啬你的赞哦。1、若它的左子树不为空,则左子树上所有的节点值都小于它的根节点值。2、若它的右子树不为空,则右子树上所有的节点值均大于它的根节点值。3、它的左右子树也分别可以充当为二叉查找树。例如:例如,我现在想要查找数值为14的节点。由于二叉查找树的特...转载 2020-04-17 13:52:56 · 200 阅读 · 0 评论 -
一口气实现交通大数据爬取与Python可视化(含数据分享)
今天的文章呢主要目的不是爬虫,而是爬虫的同时顺便实现实时可视化。上次爬摩拜单车数据的文章使用的是传统的ArcGIS进行自定义可视化,硬核 | Python多线程爬取摩拜单车数据与ArcGIS可视化,今天我想给大家分享的是QGIS可视化(MapBox在线底图)和Python可视化。交通大数据爬取本数据是由人送外号数据帝的CSDN排名1万+的博主小猿猴GIS发现的,我们其实想过到底要不要写篇文...原创 2019-09-05 23:26:45 · 14568 阅读 · 4 评论 -
python怎么做折线图
方法/步骤 1 matplotlib 是python最著名的绘图库,它提供了一整套和matlab相似的命令API,十分适合交互式地行制图。而且也可以方便地将它作为绘图控件,嵌入GUI应用程序中。 它的文档相当完备,并且Gallery页面中有上百幅缩略图,打开之后都有源程序。因此如果你需要绘制某种类型的图,只需要在这个页面中浏览/复制/粘贴一下,基本上都能搞定。 在Linux下比较...转载 2018-12-13 21:57:02 · 715 阅读 · 0 评论 -
Python split()方法
转载自:www.runoob.com/python/att-string-split.html描述Python split()通过指定分隔符对字符串进行切片,如果参数num 有指定值,则仅分隔 num 个子字符串语法split()方法语法:str.split(str="", num=string.count(str)).参数str -- 分隔符,默认为所有的空字符,包括空格、换行(\n)、制表符(...转载 2018-04-07 17:40:14 · 108 阅读 · 0 评论 -
anaconda镜像
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/版权声明:欢迎转载,注明出处。 http://blog.csdn.net/weixin_37637399/article/details/77849732转载 2018-03-07 17:02:11 · 176 阅读 · 0 评论 -
python3.6——print函数
转载自:http://blog.csdn.net/csu_vc/article/details/77924245由于pyhon的库实在太丰富,因此不得不入坑python 所以慢慢开始记录python的学习历程吧print可以直接输出数值类型和字符串>>> print(1)1>>> print(abc)Traceback (most recent call ...转载 2018-03-06 19:25:14 · 765 阅读 · 0 评论