- 博客(12)
- 收藏
- 关注
原创 使用清华镜像站下载pytorch时显示没有匹配的版本
这是pytorch官网的安装命令,通常在安装torch、torchvision和torchaudio时速度尚可,但在安装依赖包时可能显示网络超时。很有可能找不到对应的torch版本,但是清华镜像站在下载依赖包时速度快。
2024-05-29 18:28:21
758
原创 Gumbel-Softmax的logits输入可以是模型的输出
在Gumbel-Softmax的使用中,可以使用未归一化的网络输出(即未经过 Softmax 处理也未经过 Log 处理)作为logits,这是因为Gumbel-Softmax的采样过程本质上依赖于logits的相对大小,而不绝对要求logits是概率的log值。以下是Gumbel-Softmax的公式,logits指的便是。也可以参考Gumbel-Softmax官方代码的。
2024-05-22 17:34:38
801
2
原创 如何从联合概率中得到条件概率
条件分布py∣xp(y|x)py∣x条件分布py∣xp(y|x)py∣x表示在给定xxx的条件下,yyy的概率。py∣xpxypxpy∣xpxpxy其中pxp(x)px是xxxpx∑ypxy(对于离散情况)px∫pxydy(对于连续情况)p(x) = \sum_y p(x, y) \quad \text{(对于离散情况)}\\
2024-05-15 12:44:45
613
原创 docker使用
这样启动容器后,你将进入容器的主进程的交互式 shell。请注意,这假设容器内有一个可以用于交互的 shell。: 这是在容器内执行的命令。在这个例子中,它启动了一个 Bash shell,允许你进入容器并与其进行交互。表示在一个伪终端(pseudo-TTY)中运行,使得用户可以与容器的 shell 进行交互。: 这是 Docker 命令的一部分,用于在正在运行的容器中执行命令。: 这是容器的名称或容器的ID,用于指定在哪个容器中执行命令。: 这是两个选项的组合,用于指定在交互模式下运行命令。
2024-01-17 17:59:02
368
原创 model.module使用
可以访问原始的模型对象,而不是并行包装的对象。假设在一个进程里你改变了。包装的模型的参数也会改变(其它进程不会改变,因为还没有进行同步)。具体来说,如果您的模型被。
2023-09-14 12:41:17
262
原创 多机多卡示例(torch.distributed.launch使用 )
我们假设有两台服务器,一台是V100(显卡型号)-3(number)-16g(显存),另一台是A30-6-24g。在这两台服务器里分别有两个.py文件,一个是V_dist.py,一个是A_dist.py文件。例如在一台服务器的终端输入ssh root@218.195.247.241 -p 30430(另一台服务器的参数),之后按照步骤输入密码即可连接。每台机器分配的卡最好数量一致,数量不一致还可以运行的方法我还没有找到。V100终端显示:(整理过后的,并非原显示)A30终端显示:(同上)
2023-09-04 22:07:57
1280
原创 PyTorch Lightning安装
使用conda create -n lgt python=3.11创建虚拟环境lgt后。如果先install torch,在install lightning,很大可能会报错。直接使用python -m pip install lightning。使用conda activate lgt进入。这会自动install所匹配的torch包。
2023-08-26 15:32:57
974
原创 pytorch lightning中关于LightningModule中training_step、validation_step、test_step、predict_step中batch具体值的细节
【代码】pytorch lightning中关于LightningModule中training_step、validation_step、test_step、predict_step中batch具体值的细节。
2023-08-26 15:18:31
1176
原创 torch.nn.parallel.DistributedDataParallel使用
1. torch.nn.parallel.DistributedDataParallel简单介绍Implements distributed data parallelism that is based on package at the module level.这个container通过在每个模型副本上同步梯度来提供数据并行性。要同步的设备是由输入process_group指定的,默认情况下它是整个world。请注意,DistributedDataParallel不会在参与的GPU之间对输入进行分块或
2023-05-11 22:50:33
3308
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人