闪闪发光的博客

中建立自己的网络模型，也可以复制别人的模型，在其基础上修改为自己的模型。复制一份，重新命名为自己的训练器。

进入wandb网址，登陆你的账号。终端再次运行训练程序即可。

输入input的批量(batch size)，批量的大小不会影响参数量，但是会影响计算量， 计算量是batch_size=1的倍数；图像的尺寸也会影响计算量；profile(MODEL, (input,))的 (input,)中必须加上逗号，否则会报错。

PyTorch默认会跟踪张量的操作历史，以便计算梯度，但是原地操作会破坏操作历史，导致无法计算梯度。在计算梯度的时候检查出某个Variable有被一个 inplace operation 修改。报错信息会更加具体提示是网络那部分梯度计算出现问题。

使用更低精度的数据类型：将模型参数和激活值从32位浮点数（float32）转换为16位浮点数（float16），可以减少显存的使用。减少每次训练或推理时的批次大小，以降低显存的需求。较小的批次大小可能会增加训练时间，但可以减少显存压力。如果你使用的是大型模型，可以尝试减少模型的大小，以减少显存使用量。如果你有多个GPU可用，可以尝试使用多卡训练。这样可以将模型的不同部分分配到不同的GPU上，从而减少单个GPU上的显存需求。在报错的哪一行代码的上面，加上下面两行代码，释放无关的内存。

这个错误是由于 PowerShell 执行策略限制导致的。在 Windows 上，默认情况下，PowerShell 的执行策略是 Restricted，不允许运行脚本。为了解决这个问题，你可以选择修改 PowerShell 的执行策略或者使用其他方法激活虚拟环境。双击 Icon -> 输入地址格式如下：（找到你自己安装VS Code的Code.exe的路径）此操作在C盘或是D盘下执行都可以，我们的python是安装在D盘下的。打开注册表：win + R，然后输入regedit，确定；

目前解决的问题是用 PyTorch 1.7.0，Pytorch 1.10.1 也可以。使用label=torch.argmax(label, dim=1) ，其中dim=1表示通道维度，亲测有效！以上的环境是必须要按照作者要求的安装，如果换其他的版本，就可能会出错。这里可选择conda安装，也可以pip安装，我一般选择pip 安装，conda 安装有时候不成功。安装PyTorch必须找到对应的cuda，所以先查看自己的服务器CUDA。以上，安装完代码需要的所有依赖，就可以训练或是测试了。

图像分类：应用于图像级分类，在全连接层后接softmax得到分类概率，常用CNN；图像分割：应用于像素级分类，softmax应用于特征通道方向，上采样后对每个像素进行像素级的分类，常用FCN等；目标检测（object detection）：给定一幅图像，只需要找到一类目标所在的矩形框；目标识别（object recognition）：将需要识别的目标，和数据库中的某个样例对应起来，完成识别功能。图片来源于一文读懂图像分类、目标定位、语义分割与实例分割的区别。

在带有多GPU的机器上运行代码，只要在原始单GPU代码中模型定义完成后面，添加以下代码即可，这样会默认在所有的GPU上进行训练，特别注意：若banchsize=30，则在单GPU上是30个样本一组进行训练，在2个GPU上并行训练，则是每个GPU上15个样本，以此类推。所以可以考虑增加banchsize的值，即设置为30*GPU个数。

read me。

nnUNet训练-AutoDL

声明：为了方便自己查阅，所以粘贴、集合了其他博主的博客，具体参考原博文。

Bash (GNU Bourne-Again Shell) 是许多Linux发行版的默认Shell，是Bourne shell的后继兼容版本与开放源代码版本，它的名称来自Bourne shell（sh）的一个双关语（Bourne again / born again）：Bourne-Again SHell。因此就可以将我们的程序放在screen的会话中执行，然后离开会话，等我们需要看日志时再恢复到这个会话中。之前的步骤都是无卡开机模式，而为了验证环境已经配置完成，需要关机，再直接开机，这次不是无卡开机。

一些总结

GPU使用；多GPU运算

模型微调

模型保存，加载与断点续训练