- 博客(11)
- 收藏
- 关注
RSS订阅原创 PyTorch: reduce failed to synchronize: device-side assert triggered
device-side assert triggered
2022-01-14 10:20:28
401
原创 PyTorch 分布式数据并行训练示例及一次迭代过程描述 torch.nn.parallel.DistributedDataParallel()
Pytorch 分布式数据并行训练简要说明：本例使用torch.nn.Linear()作为网络模型，并将其用 torch.nn.parallel.DistributedDataParallel() (简称，DDP)包装，随后进行一次前向传播，一次反向传播，DDP上优化器的一次优化，最后，局部网络模型得到优化，并同步到不同的卡中。主要方法：torch.nn.parallel.DistributedDataParallel()上例子：import torchimport torch.distri
2020-08-04 02:20:53
1287
原创 PyTorch关于张量的拆分与合并方法: stack(), cat(), split(), chunk()
张量的拆分与合并常用于深度学习中，接下来主要介绍四个关于张量的拆分与合并方法：stack，cat，split，chunkstack功能：在一个新的维度上堆叠Tensor矩阵。用法：torch.stack( tensors, dim=0, out=None) 返回值为tensor注意：所有将被堆叠的Tensor必须保持同样尺度，且堆叠后会产生新的维度。a,b,c=torch.rand(2,3),torch.rand(2,3),torch.Tensor([])# 测试out参数torch.
2020-07-30 02:05:05
1359
原创 PyTorch关于以下方法使用：detach() cpu() numpy() 以及item()
注：训练过程常会出现上述方法，本文只是简单介绍他们的含义和作用，深层理解请跳至文档，或者GIthub查看源码，又或者网盘 ，提取码：pjrs，把下载好的PyTorch文档导入，则可以离线查看文档了，希望能帮到你。步入正文：PyTorch深度学习框架在训练时，大多都是利用GPU来提高训练速度，怎么用GPU（方法：.cuda()）：import DataSetfrom model.MyNet import MyNetfrom torch.utils.data import DataLoadertr
2020-07-29 00:48:30
29916
2
原创 PyTorch关于RuntimeError: copy_if failed to synchronize: device-side assert triggered问题
报错内容RuntimeError: copy_if failed to synchronize: device-side assert triggered情况说明本人遇到的这个问题主要是出现在损失计算处，由于损失计算时，矩阵运算产生了过大（INF）或者过小值（NAN），而使得数值越界断言触发。个人解决方法请检查以下几方面：损失函数计算方法是否存在问题，特别是有除法运算、浮点数运算等，比如 1.05/0 这种问题；进行损失计算的矩阵是否有问题；是否可以考虑调整一下学习率；ps：如果不是损
2020-07-28 23:27:20
2039
原创 关于PyTorch单机多卡训练
我理解的分布式训练主要是通过两种方式实现：1）数据并行2）模型并行接下来，本文从3个方面来简单介绍一下分布式训练：1）单个GPU2）单机多卡3）多机多卡（分布式训练）一、单机单卡PyTorch集成了一套高效的GPU运算体系，可以加快数据运算，大概比CPU要快几十倍~先上代码：# 方法介绍device = torch.device(param) # param可以是'cuda'或者'cpu'，该方法返回一个对象，表示数据将要放置的设备device =..
2020-07-28 03:32:46
8482
1
原创 李宏毅机器学习——梯度下降（BGD、SGD、MBGD、AdaGrad、Momentum_MBGD等）python实现
python实现，梯度下降法（BGD、SGD、MBGD、AdaGrad、Momentum_MBGD等）https://github.com/pander-dancer/LHY_MLAdam等其他优化方法持续更新中
2019-05-21 01:41:36
970
原创 《李宏毅机器学习》- Task2 梯度下降、误差偏差方差的关系、模型评估
1、理解偏差和方差偏差（bias）：表示测试样本集的测试期望值距离groundtruth期望值的偏差；a) bias越大，则说明预测结果越差，模型并未很好拟合训练集样本，欠拟合；b) 我们希望模型在测试样本上的bias足够小，那么就需要增加模型的复杂程度，或者简单理解为增加模型（映射函数）的泰勒展开式最高幂次。方差（variance）：表示模型在测试集上的预测结果是否稳定，或预测值...
2019-05-17 21:29:15
589
原创 《李宏毅机器学习》- Task1
一、了解什么是Machine learning1、一种映射：让机器有学习的能力，通过学习，找到可以拟合当前数据类型的最优映射，即 ; 其中x为数据集中的元素，y为对应学习任务的输出结果，F为最优的ML模型2、两个阶段：Training 和 Testing 1）Training 训练数据x+ 模型集(一系列的映射) ——&g...
2019-05-13 21:45:29
122
原创 关于opencv读取图片，无法正常显示，窗口显示灰色的问题
本人刚开始学习OpenCV3，主要是跟着毛星云老师的《OpenCV3编程入门》进行学习，学习过程中遇到一些问题，希望能在这里跟大家分享，同时希望得到有效的解答。由于本人是个小白，有什么不对的地方，还望指教，谢谢！！话不多说，进入正题！——————————————————————————————————————————关于OpenCV3中读入图片后，显示为灰色的问题环境：OpenCV 3.4.1 +...
2018-05-06 13:18:58
13640
14
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人