Pytorch
文章平均质量分 81
搞视觉的张小凡
学习是一种信仰
展开
-
pytorch各种交叉熵函数的汇总具体使用
一、引言 最近被pytorch的各种交叉熵损失弄迷糊了,现在我所知道的交叉熵损失有:torch.nn.CrossEntropyLoss()torch.nn.BCELoss()torch.nn.BCEWithLogitsLoss()torch.nn.functional.cross_entropy()torch.nn.functional.binary_cross_entropy()torch.nn.functional.binary_cross_entropy_with_log原创 2021-11-23 17:04:36 · 3959 阅读 · 0 评论 -
pytorch 分布式多卡训练DistributedDataParallel 踩坑记
前言: 近几天想研究了多卡训练,就花了点时间,本以为会很轻松,可是好多坑,一步一步踏过来,一般分布式训练分为单机多卡与多机多卡两种类型; 主要有两种方式实现:1、DataParallel: Parameter Server模式,一张卡位reducer,实现也超级简单,一行代码DataParallel是基于Parameter server的算法,负载不均衡的问题比较严重,有时在模型较大的时候(比如bert-large),reducer的那张卡会多出3-4g的显存占用2、Distr...原创 2020-07-23 19:55:11 · 43398 阅读 · 28 评论 -
获取网络模型的每一层参数量与计算量(Flops)———Pytorch
一、前言 在现在AI各种技术需要luo地的时期,网络模型大小能够满足嵌入式平台极为重要,不仅仅需要看模型效果,也要看模型的计算量与参数,所以在评估模型的时候就要分析网络的参数量与计算量;二、推荐pytorch工具 1、ptflops 安装: pip3 install --upgrade git+https://github.com/sov...原创 2020-03-24 20:23:12 · 12084 阅读 · 18 评论 -
YOLOV3+ASFF(Learning Spatial Fusion for Single-Shot Object Detection)训练踩坑记
文章:https://arxiv.org/pdf/1911.09516v2.pdfgithub:https://github.com/ruinmessi/ASFF博客分析:https://blog.csdn.net/weixin_42096202/article/details/103293579前沿:下图是ASFF文章的效果,与yolov3对比,yolov3+ASFF 320的尺...原创 2020-03-12 14:35:47 · 4135 阅读 · 35 评论 -
Pytorch:transforms-进行在线图像增强的方法总结
本文截取自《PyTorch 模型训练实用教程》,获取全文pdf请点击:https://github.com/tensor-yu/PyTorch_Tutorial本文对transforms.py中的各个预处理方法进行介绍和总结。主要从官方文档中总结而来,官方文档只是将方法陈列,没有归纳总结,顺序很乱,这里总结一共有四大类,方便大家索引:裁剪——Crop 中心裁剪:transforms.Ce...转载 2019-07-16 15:11:15 · 4641 阅读 · 3 评论 -
PyTorch 学习之Ubuntu16.04 下安装 PyTorch(conda与pip两种方式安装)
一、pip安装Pytorch 这里已经默认已经安装好了显卡驱动,cuda等。我这里安装的是cuda9与cudnn7,显卡驱动号:Driver Version: 384.130; 1、进入PyTorch官网: pytorch 官网进去后,点击左下角previous versions of PyTorch找到自己所需要下載的版本.如系統,cu...原创 2019-11-05 23:45:49 · 1385 阅读 · 0 评论