- 博客(12)
- 收藏
- 关注
RSS订阅原创 使用清华镜像站下载pytorch时显示没有匹配的版本
这是pytorch官网的安装命令，通常在安装torch、torchvision和torchaudio时速度尚可，但在安装依赖包时可能显示网络超时。很有可能找不到对应的torch版本，但是清华镜像站在下载依赖包时速度快。
2024-05-29 18:28:21
448
原创 Gumbel-Softmax的logits输入可以是模型的输出
在Gumbel-Softmax的使用中，可以使用未归一化的网络输出（即未经过 Softmax 处理也未经过 Log 处理）作为logits，这是因为Gumbel-Softmax的采样过程本质上依赖于logits的相对大小，而不绝对要求logits是概率的log值。以下是Gumbel-Softmax的公式，logits指的便是。也可以参考Gumbel-Softmax官方代码的。
2024-05-22 17:34:38
780
2
原创 如何从联合概率中得到条件概率
条件分布py∣xp(y|x)py∣x条件分布py∣xp(y|x)py∣x表示在给定xxx的条件下，yyy的概率。py∣xpxypxpy∣xpxpxy其中pxp(x)px是xxxpx∑ypxy(对于离散情况)px∫pxydy(对于连续情况)p(x) = \sum_y p(x, y) \quad \text{(对于离散情况)}\\
2024-05-15 12:44:45
600
原创 docker使用
这样启动容器后，你将进入容器的主进程的交互式 shell。请注意，这假设容器内有一个可以用于交互的 shell。: 这是在容器内执行的命令。在这个例子中，它启动了一个 Bash shell，允许你进入容器并与其进行交互。表示在一个伪终端（pseudo-TTY）中运行，使得用户可以与容器的 shell 进行交互。: 这是 Docker 命令的一部分，用于在正在运行的容器中执行命令。: 这是容器的名称或容器的ID，用于指定在哪个容器中执行命令。: 这是两个选项的组合，用于指定在交互模式下运行命令。
2024-01-17 17:59:02
360
原创 model.module使用
可以访问原始的模型对象，而不是并行包装的对象。假设在一个进程里你改变了。包装的模型的参数也会改变（其它进程不会改变，因为还没有进行同步）。具体来说，如果您的模型被。
2023-09-14 12:41:17
257
原创 多机多卡示例（torch.distributed.launch使用 ）
我们假设有两台服务器，一台是V100(显卡型号)-3(number)-16g(显存)，另一台是A30-6-24g。在这两台服务器里分别有两个.py文件，一个是V_dist.py，一个是A_dist.py文件。例如在一台服务器的终端输入ssh root@218.195.247.241 -p 30430（另一台服务器的参数），之后按照步骤输入密码即可连接。每台机器分配的卡最好数量一致，数量不一致还可以运行的方法我还没有找到。V100终端显示：(整理过后的，并非原显示)A30终端显示：(同上)
2023-09-04 22:07:57
719
原创 PyTorch Lightning安装
使用conda create -n lgt python=3.11创建虚拟环境lgt后。如果先install torch，在install lightning，很大可能会报错。直接使用python -m pip install lightning。使用conda activate lgt进入。这会自动install所匹配的torch包。
2023-08-26 15:32:57
929
原创 pytorch lightning中关于LightningModule中training_step、validation_step、test_step、predict_step中batch具体值的细节
【代码】pytorch lightning中关于LightningModule中training_step、validation_step、test_step、predict_step中batch具体值的细节。
2023-08-26 15:18:31
1077
原创 torch.nn.parallel.DistributedDataParallel使用
1. torch.nn.parallel.DistributedDataParallel简单介绍Implements distributed data parallelism that is based on package at the module level.这个container通过在每个模型副本上同步梯度来提供数据并行性。要同步的设备是由输入process_group指定的，默认情况下它是整个world。请注意，DistributedDataParallel不会在参与的GPU之间对输入进行分块或
2023-05-11 22:50:33
3084
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人