【pytorch22】激活函数与GPU加速

最新推荐文章于 2024-09-09 23:51:40 发布
最新推荐文章于 2024-09-09 23:51:40 发布
阅读量389 收藏
点赞数 2
分类专栏： pytorch入门学习 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45291280/article/details/140288959
版权

激活函数

在这里插入图片描述
在这里插入图片描述

ReLu还是还是可能出现梯度弥散，因为x<0的时候，梯度还是可能小于0

在这里插入图片描述
leaky relu，在x<0的时候，梯度就不会为0，梯度不会不动
在这里插入图片描述
Relu函数在x=0处是不连续的

一种更加光滑的曲线是SELU，是两个函数的concat
在这里插入图片描述
softplus，把ReLu的尖点x=0做了一个平滑处理，使得导数不连续的地方导数连续
在这里插入图片描述

目前用的最多的是Relu、sigmoid，tan h(RNN)以及Leaky Relu

GPU加速

在这里插入图片描述
loss层也是需要计算的，可以把loss层也搬到GPU上去

艾卡西亚丶暴雨L
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch-激活函数与GPU加速
wyw0000的博客
04-20 570
pytorch-激活函数与GPU加速
[chapter 25][PyTorch][激活函数与GPU加速]
4AM_明朝百晓生
04-06 657
tanH 函数 sigmoid函数 relu 函数 leaky Relu 函数 tf.nn.selu 扩展型指数线性单元 GPU 加速 softplus 激活函数 numpy 傅里叶变换
pytorch12：GPU加速模型训练
慕溪同学的博客
01-11 1285
我们在模型训练当中想要提高训练速率，需要在以下三个地方添加gpu将模型放到gpu上：resnet18_ft.to(device)训练过程中数据： inputs, labels = inputs.to(device), labels.to(device)验证过程中数据： inputs, labels = inputs.to(device), labels.to(device)
pytorch 下自定义激活函数与多GPU训练
remanented的博客
04-08 2411
一、在解决一些实际问题时，pytorch中自带的激活函数可能不能满足需求，就需要自定义一些激活函数，比如我需要一个使得输出值在0到140之间的激活层，pytorch中不含有，所以自定义： #define a self activation function class Act_fun(nn.Module): def __init__(self): super(Act_...
pytorch-13-激活函数&GPU加速&测试
Xiaobai_rabbit0的博客
08-14 416
激活函数与GPU加速&测试1、激活函数2、GPU加速3、测试 1、激活函数 很少用的激活函数：Relu改进版 2、GPU加速 代码如下 import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transforms batch_size=200 learning_rate
PyTorch——激活函数、损失函数
qq_42873479的博客
02-08 371
PyTorch——激活函数激活函数Loss及其梯度全连接层交叉熵激活函数与GPU加速 激活函数 torch.sigmoid：范围在[0，1]，光滑可导，但在趋近0和1时容易出现梯度离散。 torch.tanh：范围在[-1,1] torch.relu/F.relu：不可导，但计算简单常用 F.softmax Loss及其梯度 MSE： autograd.grad loss.backward Gradient API F.softmax 全连接层 nn.layer 类方法： step 1：
人工智能|GPU加速PyTorch训练
严振杰
03-13 1068
我们知道 CPU 做计算靠的是 RAM，GPU 做计算靠的是 VRAM（Video Random Access Memory），VRAM 是 GPU 的专用内存。苹果的 MPS（Metal Performance Shaders）扩展了 PyTorch 框架，可以作为 PyTorch 的后端加速 GPU 训练，它提供了在 Mac 上设置和运行操作的脚本和功能，MPS 通过针对每个 Metal GPU 系列的独特特性进行了微调的内核来优化计算性能。在推理环节，利用训练好的模型，使用大量数据推理出各种结论。
GPU版PyTorch安装
cherryc_的博客
02-26 2572
显卡4060，CUDA11.3+Pytorch1.12.0配置
pytorch使用GPU
热门推荐
qq_37431083的博客
04-15 1万+
查看GPU状态 !nvidia-smi 一个GPU一共16130M显存，0号GPU已使用3446M显存，一般GPU的利用率低于50%，往往这个模型可能有问题。 本机CUDA版本，在安装驱动时应该注意选择对应版本的驱动。 指定GPU import torch from torch import nn torch.device('gpu'), torch.cuda.device('cuda'), torch.cuda.device('cuda:1') 指定计算设备为GPU，使用多个GPU，本代码指定了
lesson28-激活函数与GPU加速.zip
08-29
深度学习与PyTorch入门实战视频教程 配套源代码和PPT深度学习与PyTorch入门实战视频教程 配套源代码和PPT深度学习与PyTorch入门实战视频教程 配套源代码和PPT深度学习与PyTorch入门实战视频教程 配套源代码和PPT深度...
Pytorch 搭建分类回归神经网络并用GPU进行加速的例子
09-18
在`__init__`方法中，我们定义了两个隐藏层和一个输出层，使用ReLU作为激活函数。在`forward`方法中，我们定义了数据流经网络的过程。 2. **方法二**：使用`torch.nn.Sequential`简化网络结构。这里我们同样定义了两...
pytorch torch.gather函数介绍
qq_27390023的博客
09-04 602
是 PyTorch 中的一个用于从给定维度上按索引取值的函数。它根据一个索引张量index，从源张量input中收集值，并返回一个新的张量。常用于需要从张量的特定位置抽取元素的操作。
每天五分钟玩转深度学习PyTorch：获取神经网络模型的子网络模型
最新发布
huanfeng_AI的博客
09-09 21
本文主要为第二步（模型搭建）和第六步（优化器）服务，因为子网络是网络模型的一部分，我们如何获取自网络，需要了解网络的模型结构，然后再优化器部分我们需要获取指定网络模型部分的模型参数，所以本节课程很重要。
动手学深度学习（pytorch）学习记录25-汇聚层(池化层)[学习记录]
weixin_50995339的博客
09-09 395
定义一个池化操作，X是张量，pool_size是汇聚层大小，mode默认为max即输出为输入区域的最大值，mode设置为avg时，输出为输入区域的平均值。默认情况下，深度学习框架中的步幅与汇聚窗口的大小相同，如果使用形状为(3,3)的汇聚层窗口，则得到的步幅大小为(3,3)。汇聚层和卷积层的运动方式一样，从左上角向右下角移动指定步幅，汇聚层执行的是“采样”操作。汇聚层是没有参数的。在通道维度上连结张量X和X + 1，以构建具有2个通道的输入。降低卷积层对位置的敏感性，同时降低对空间降采样表示的敏感性。
形象化理解pytorch中的tensor.scatter操作
天之彼方的博客
09-09 667
形象化理解pytorch中的tensor.scatter操作
Pytorch中向量和张量
qq_27390023的博客
09-04 669
向量是一种特殊的张量，其维度为 1，形状为[n]。张量是一个更广泛的概念，可以表示标量、向量、矩阵以及更高维的数组。
pytorch torch.topk函数介绍
qq_27390023的博客
09-04 700
在上述示例中，首先创建了一个二维张量。然后，分别在行维度和列维度上使用。函数找到最大的两个值及其索引和最小的两个值及其索引，并打印出结果。函数用于在输入张量中找到最大的。在 PyTorch 中，
PyTorch实现GPU加速的分类回归神经网络
激活函数使用了 ReLU（Rectified Linear Unit），它在隐藏层之间引入非线性。`forward` 函数定义了数据流经网络的方式，从输入到输出。 在 `Net` 类定义之后，实例化了一个网络对象，设置了输入特征数、隐藏层节点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值