自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 收藏
  • 关注

原创 Pytorch损失函数解析

本文根据pytorch里面的源码解析各个损失函数,各个损失函数的python接口定义于包torch.nn.modules中的loss.py,在包modules的初始化__init__.py中关于损失函数的导入:1.损失函数的base类1.1 Loss的三个参数​ 从函数代码中可以看出,__init__函数有三个参数size_average, reduce, reduction,这三个参数的关系如下图所示;可以很明显看出,reduce参数控制返回的是Tensor还是scalar,size_avera

2021-03-28 23:35:09 427

原创 Pytorch激活函数解析

本文根据pytorch里面的源码解析各个激活函数,各个激活函数的python接口定义位于包torch.nn.modules中的activation.py,在包modules的初始化__init__.py中关于激活函数的导入:1.非线性激活函数的必要性1.1.加入非线性因素:​ 如下图所示,是神经元的数学模拟,如果在神经元之间,没有使用非线性激活函数或者使用恒等激活函数,那么神经网络仅仅是将输入线性组合再输出。在这种情况下,多层神经网络与仅仅只有一层隐藏层的神经网络没有任何区别。因此,要想多个隐藏

2021-03-28 19:33:10 900 3

原创 PyTorch技巧总结

1.在训练模型时指定GPU的编号设置当前使用的GPU设备仅为0号设备,设备名称为**"/gpu:0"**,os.environ["CUDA_VISIBLE_DEVICES"]="0";设置当前使用的GPU设备为0,1两个设备,名称依次为**"/gpu:0","/gpu:1"**,os.environ["CUDA_VISIBLE_DEVICES"]="0,1";根据顺序优先表示使用0号设备,然后使用1号设备;同样,也可以在训练脚本外面指定,CUDA_VISIBLE_DEVICES=0,1 python

2021-01-31 16:00:14 3200 7

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除