os.environ的keys用法补充

最新推荐文章于 2024-02-01 14:19:04 发布
最新推荐文章于 2024-02-01 14:19:04 发布
阅读量5.9k 收藏 18
点赞数 6
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bb_sy_w/article/details/121181637
版权

python之os.environ模块学习
这篇文章已经介绍了很多个os.environ的keys，我在这里补充几个作者没有提到的。

‘Rank’

  • 进程号rank理解：在多进程上下文中，我们通常假定rank 0是第一个进程或者主进程，其它进程分别具有0，1，2不同rank号，这样总共具有4个进程。

‘LOCAL_RANK’

  • 进程内，GPU 编号，非显式参数，由 torch.distributed.launch 内部指定。比方说， rank = 3，local_rank = 0 表示第 3 个进程内的第 1 块 GPU。

‘WORLD_SIZE’

  • 表示全局进程个数。

‘SLURM_PROCID’

  • 可用作全局rank。

那么这些keys的含义是如何知道的呢？(官方文档里没有解释),卖个关子：也许你看了这篇文章就会懂了Python之os.environ学习(狗头)

ning_ww
关注
  • 6
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Python基于os.environ从windows获取环境变量
09-16
主要介绍了Python基于os.environ从windows获取环境变量,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python os.environ_python os.environ 读取和设置环境变量
weixin_39605414的博客
12-05 226
>>> import os>>> os.environ.keys()['LC_NUMERIC', 'GOPATH', 'GOROOT', 'GOBIN', 'LESSOPEN', 'SSH_CLIENT', 'LOGNAME', 'USER', 'HOME', 'LC_PAPER', 'PATH', 'DISPLAY', 'LANG', 'TERM', 'SHE...
语义分割分布式训练小结
凡士林的博客
03-31 5443
语义分割分布式训练小结
深入理解Pytorch中的分布式训练
zenRRan的博客
01-05 1619
作者：台运鹏 (正在寻找internship...)主页：https://yunpengtai.top鉴于网上此类教程有不少模糊不清，对原理不得其法，代码也难跑通，故而花了几天细究了一下相关原理和实现，欢迎批评指正！关于此部分的代码，可以去https://github.com/sherlcok314159/dl-tools查看「在开始前，我需要特别致谢一下一位挚友，他送了我双显卡的机器来赞助我做个...
os.environ相关介绍
m0_73477902的博客
12-08 1494
WORLD_SIZE：使用os.environ["world_size"]获取当前启动的所有的进程的数量（所有机器进程的和），一般world_size = gpus_per_node * nnodes。“HOME” 是这个字典里的一个键，如果有这个键，返回对应的值，如果没有，则返回 none。backend str/Backend 是通信所用的后端，可以是"ncll" "gloo"或者是一个torch.distributed.Backend类（Backend.GLOO）
关于Pytorch 分布式训练local_rank的坑
qq_40837764的博客
12-02 9055
关于Pytorch 分布式训练local_rank的坑
python -m torch.distributed.launch --nproc_per_node=8
weixin_45833431的博客
05-17 2998
多GPU启动指令:python -m torch.distributed.launch --nproc_per_node=8 --use_env train_multi_gpu_using_launch.py,指令,nproc_per_node参数为使用GPU数量。我们使用了use_env传入了这个参数，它就会在环境变量中存入一系列参数，包括RANK,WORLD_SIZE,LOCAL_RANK。
Python学习之os模块及用法
12-17
os 模块代表了程序所在的操作系统，主要用于获取程序运行所在操作系统的相关信息。... os.environ：返回在当前系统上所有环境变量组成的字典。 os.fsencode(filename)：该函数对类路径（path-like）的文件名进行编码。
the introduction of python os.zip_OND3_python os模块简介_youthot3
09-23
本文档将深入探讨os模块的基本用法和关键功能。 首先，os模块提供了大量的函数，用于创建、删除和管理目录以及文件。例如，`os.mkdir()`用于创建目录，`os.rmdir()`用于删除空目录，`os.remove()`用于删除文件，而`...
pythonos模块功能和方法总结共4页.pdf.zip
10-30
Python的os模块是标准库中的一个核心模块，它提供了与操作系统交互的各种功能。这个模块让Python程序员...无论是初学者还是经验丰富的开发者，都应该对os模块有深入的理解和熟练的使用技巧，以便在实际开发中得心应手。
pytorch 分布式训练
Colin_xuan的博客
09-13 3442
作者 | 堂姐 来源 |九点澡堂子 编辑 | 极市平台 导语： 前段时间工作涉及到修改分布式训练代码，在自研的工具库里直接调用简单的几行代码就可以，很多复杂的东西都封装起来了，但总感觉还是尽可能多了解下背后的东西比较好，原理和Pytorch的类似，就直接以torch来分析记录了。 过程中碰到想不明白的地方就“骚扰”同事小伙伴和mentor，周末也不放过，远程表感谢和歉意hh。 正文： Pytorch 分布式训练主要有两种方式： torch.nn.DataParallel ==> 简称.
torch.distributed多卡/多GPU/分布式DPP(一) —— torch.distributed.launch & all_gather & init_process_group
hxxjxw的博客
04-30 1万+
分布式通信包 - torch.distributed Pytorch中通过 torch.distributed 包提供分布式支持，包括 GPU 和 CPU 的分布式训练支持。Pytorch 分布式目前只支持 Linux。
python之设置环境变量并读取
最新发布
pangmailong的博客
02-01 2461
在python 中，可以通过os.environ获取环境变量什么是环境变量呢？环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过 os.environ.get() 取出来就行了。这样开发人员本机测试的时候用的是自己本机的一套密码，生产环境部署的时候，用的是公司的公共账号和密码，这样就能增加安全性。os.environ是一个字典，是环境变量的字典。通过，就可以获取环境变量HOME的值，如果有这个键，返回对应的值。
python中os.environ的使用详解
热门推荐
九层之台，起于垒土
04-25 6万+
1.简介 在python 中，通过 os.environ 获取环境变量，什么是环境变量呢？环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过 os.environ.get() 取出来就行了。这样开发人员本机测试的时候用的是自己本机的一套密码，生产环境部署的时候，用的是公司的公共账号和密码，这样就能增加安全性。os.environ 是一个字典，是环境变量的字典。通过os.environ.get(“HOME”)，就.
pytorch分布式训练小结
MSFollower的博客
08-24 6169
经过了几天的学习和总结，得到了一小点知识。破除理解上的障碍，希望和大家共同分享。 当前的pytorch分布式训练，主要使用两种方法：DataParallel和DistributedDataParallel。本篇文章对这两种方法的使用流程和关键步骤进行介绍，不涉及很复杂的原理和内核，仅仅方便大家理解和使用。 DistributedDataParallel from torch.utils.data.distributed import DistributedSampler from torch.n..
python中os.environ的用法
weixin_45467930的博客
06-15 2837
简述了python中os.environ的使用详解，包括key字段和os.environ['TF_CPP_MIN_LOG_LEVEL']用法
os.environ的解释
每日提升一点点
04-18 3181
os.environ 返回一个系统变量和系统变量值 的字典（键值对） res = os.environ print(res) ls = 'home' if 'home' in os.environ else 'no_home' # print(res) print(ls) os.environ['home'] = 'tongk' print(os.environ['home']) ----------------------------------------------------------.
PyTorch多卡/多GPU/分布式DPP的基本概念(node&rank&local_rank&nnodes&node_rank&nproc_per_node&world_size)
hxxjxw的博客
08-11 1万+
node 物理节点，可以是一台机器也可以是一个容器，节点内部可以有多个GPU。 rank & local_rank 用于表示进程的编号/序号（在一些结构图中rank指的是软节点，rank可以看成一个计算单位），每一个进程对应了一个rank的进程，整个分布式由许多rank完成。 local_rank： rank是指在整个分布式任务中进程的序号；local_rank是指在一个node上进程的相对序号，local_rank在node之间相互独立。 nnodes 物理节点数量 node_ra.
Pytorch分布式训练/多卡训练(二) —— Data Parallel并行(DDP)(2.1)(基本概念&代码框架)
hxxjxw的博客
08-18 4209
Pytorch官网已经建议使用DistributedDataParallel来代替DataParallel, 因为DistributedDataParallel比DataParallel运行的更快, 然后显存分配的更加均衡. 而且DistributedDataParallel功能更加强悍 DDP与DP的区别 ①DataLoader部分需要使用Sampler，保证不同GPU卡处理独立的子集. ②模型部分使用DistributedDataParallel. DDP的主要代码部分 .......
python文件中os.environ.keys()
05-16
os.environ.keys()是一个Python语言中的命令，用于获取操作系统环境变量的所有键值。当你在Python文件中运行这个命令时，它会返回一个由所有环境变量键组成的列表。例如，如果你在Windows操作系统中运行这个命令，它可能会返回类似于这样的结果： ['ALLUSERSPROFILE', 'APPDATA', 'COMMONPROGRAMFILES', 'COMPUTERNAME', 'COMSPEC', 'LOCALAPPDATA', 'LOGONSERVER', 'NUMBER_OF_PROCESSORS', 'OS', 'PATH', 'PATHEXT', 'PROCESSOR_ARCHITECTURE', 'PROCESSOR_IDENTIFIER', 'PROCESSOR_LEVEL', 'PROCESSOR_REVISION', 'PROGRAMDATA', 'PROGRAMFILES', 'PROMPT', 'PSMODULEPATH', 'PUBLIC', 'SESSIONNAME', 'SYSTEMDRIVE', 'SYSTEMROOT', 'TEMP', 'TMP', 'USERDOMAIN', 'USERDOMAIN_ROAMINGPROFILE', 'USERNAME', 'USERPROFILE', 'WINDIR'] 这些键表示了计算机的各种环境信息，你可以在Python程序中使用它们来获取操作系统的相关信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值