torch.finfo函数

最新推荐文章于 2024-04-28 19:45:00 发布
最新推荐文章于 2024-04-28 19:45:00 发布
阅读量7.1k 收藏 6
点赞数 3
文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43844342/article/details/116209999
版权

torch.finfo

torch.finfo是一个对象，它表示浮点torch.dtype的数字属性。这类似于
numpy.finfo，torch.float32，torch.float64，torch.float16.

A torch.finfo provides the following attributes:

在这里插入图片描述

可以无参数调用torch.finfo的构造函数，在这种情况下，在这种情况下，将为pytorch默认数据类型创建类（由torch.get_default_dtype()返回）

    井号后为返回值
    max_neg_value0 = torch.finfo(torch.float16).tiny #6.103515625e-05
    max_neg_value1 = torch.finfo(torch.float16).max  #65504.0
    max_neg_value2 = torch.finfo(torch.float32).max  #3.4028234663852886e+38
    max_neg_value3 = torch.finfo(torch.float64).max  #1.7976931348623157e+308

官方文档

打团小能手
关注
PyTorch 1.0 中文文档：数据类型信息
weixin_30640769的博客
02-03 269
译者：冯宝宝 可以通过torch.finfo 或 torch.iinfo访问torch.dtype的数字属性。 torch.finfo class torch.finfo torch.finfo 是一个用来表示浮点torch.dtype的数字属性的对象（即torch.float32，torch.float64和torch.float16）。 这类似于 numpy.finfo。 torch.fi...
pytorch 常用API介绍
威少的博客
03-06 1890
文章目录torch模块torch.finfo/torch.iinfotorch.chunktorch.einsumtorch.register_buffertorch.ranpermtorch.Tensor模块torch.Tensor.masked_fill/torch._ masked_fill_torch.nn模块nn.GELUnn.LayerNormtorch.nn.functional 模块F.pad基本知识torchvision.transforms下的transform.py和functiona
LLM - Make Causal Mask 构造因果关系掩码
BITDDD小栈
09-25 3059
LLM MakeCausalMask 构造因果关系掩码函数解析。
_expand_mask代码阅读
weixin_45649595的博客
12-23 536
expanded_mask函数的学习
python numpy np.finfo()函数 eps
Dontla的博客
11-14 2万+
用法 finfo函数是根据括号中的类型来获得信息，获得符合这个类型的数型 例1： import numpy as np a=np.array([[1],[2],[-1],[0]]) b=np.maximum(a,np.finfo(np.float32).eps) print(b) 结果： [[1.0000000e+00] [2.0000000e+00] [1.1920929e-07] [...
这是一个crossattention模块：class CrossAttention(nn.Module): def __init__(self, query_dim, context_dim=None, heads=8, dim_head=64, dropout=0.): super().__init__() inner_dim = dim_head * heads context_dim = default(context_dim, query_dim) self.scale = dim_head ** -0.5 self.heads = heads self.to_q = nn.Linear(query_dim, inner_dim, bias=False) self.to_k = nn.Linear(context_dim, inner_dim, bias=False) self.to_v = nn.Linear(context_dim, inner_dim, bias=False) self.to_out = nn.Sequential( nn.Linear(inner_dim, query_dim), nn.Dropout(dropout) ) def forward(self, x, context=None, mask=None): h = self.heads q = self.to_q(x) context = default(context, x) k = self.to_k(context) v = self.to_v(context) q, k, v = map(lambda t: rearrange(t, 'b n (h d) -> (b h) n d', h=h), (q, k, v)) # force cast to fp32 to avoid overflowing if _ATTN_PRECISION =="fp32": with torch.autocast(enabled=False, device_type = 'cuda'): q, k = q.float(), k.float() sim = einsum('b i d, b j d -> b i j', q, k) * self.scale else: sim = einsum('b i d, b j d -> b i j', q, k) * self.scale del q, k if exists(mask): mask = rearrange(mask, 'b ... -> b (...)') max_neg_value = -torch.finfo(sim.dtype).max mask = repeat(mask, 'b j -> (b h) () j', h=h) sim.masked_fill_(~mask, max_neg_value) # attention, what we cannot get enough of sim = sim.softmax(dim=-1) out = einsum('b i j, b j d -> b i d', sim, v) out = rearrange(out, '(b h) n d -> b n (h d)', h=h) return self.to_out(out) 我如何从中提取各个提示词的注意力热力图并用Gradio可视化?
07-15
import torch from PIL import Image import gradio as gr import numpy as np import matplotlib.pyplot as plt ``` 2. 定义CrossAttention模块的网络结构及参数： ```python # 在上述代码之前添加 from torch ...
pytorch笔记：14)从零开始玩转目标检测模型CenterNet
Javis486的专栏
04-25 4644
目录前言模型搭建数据集构建1.数据初始化2.生成高斯HeatMap损失函数关键点FocalLossRegressionLoss模型测试 前言 “真正的东西，是朴素的，也是优雅的”，这句话用来形容CentNet绝不为过。笔者参考论文和官方源码，去繁就简， 模型搭建 模型结构：resnet18+上采样+3个header输出 在__init__()函数中添加了如下6行代码，self.layer5至sel...
怎么查看tensor的精度
06-06
同时，可以使用 `torch.finfo()` 和 `torch.iinfo()` 函数来获取浮点数和整数的最大值、最小值以及精度。 例如，下面是一个查看张量精度的示例代码： ```python import torch # 创建一个浮点数张量 x = torch....
【开源计划】图像配准中常用损失函数的pytorch实现
Timmymm的博客
03-16 6414
前言 按照开源计划的预告，我们首先从基于深度学习的图像配准任务中常用的损失函数的代码实现开始。从我最开始的那一篇博客，即基于深度学习的医学图像配准综述，可以看出，目前基于无监督学习的图像非刚性配准模型成为了一个比较流行的研究方向。这是因为基于监督学习的方法过分依赖传统方法或者模拟变形的方法来提供监督信息，这样既吃力又不讨好。以我的探索经验来讲，以传统配准方法产生的变形场作为监督信息，对网络进行训...
大模型微调实战之 Transformer 强化学习（TRL Reinforcement Learning）（三）Proximal Policy Optimization
最新发布
段智华的博客
04-28 133
大模型微调实战之 Transformer 强化学习（TRL Reinforcement Learning）（三）Proximal Policy Optimization这是一个基本示例，展示了如何使用库中的PPOTrainer。基于一个查询，语言模型创建一个响应，然后对该响应进行评估。评估可以是人类参与的过程，或者是另一个模型的输出。 这段代码是一个使用Proximal Policy Optimization算法来训练一个基于 GPT-2 模型的强化学习示例。
Numpy中常用函数np.clip和np.finfo
Barbara‘s Blog
03-07 615
Numpy中常用函数np.clip和np.finfo
numpy中np.finfo用法
~华仔的博客
03-10 9619
例子： """ np.finfo使用方法 eps是一个很小的非负数 除法的分母不能为0的,不然会直接跳出显示错误。 使用eps将可能出现零，使用eps来替换，这样不会报错。 """ import numpy as np x = np.array([1, 2, 3], dtype=float) eps = np.finfo(x.dtype).eps # eps = 2...
python中finfo函数_Python numpy.finfo()用法及代碼示例
weixin_33365481的博客
03-01 427
numpy.finfo()函數顯示浮點類型的機器限製。用法： numpy.finfo(dtype)參數：dtype:[float，dtype或instance]要獲取有關其信息的浮點數據類型的種類。返回：浮點類型的機器參數。代碼1：# Python program explaining# numpy.finfo() function# importing numpy as geekimport n...
python中finfo函数_Python numpy.finfo()用法及代码示例
weixin_39822673的博客
12-19 1154
numpy.finfo()函数显示浮点类型的机器限制。用法： numpy.finfo(dtype)参数：dtype:[float，dtype或instance]要获取有关其信息的浮点数据类型的种类。返回：浮点类型的机器参数。代码1：# Python program explaining# numpy.finfo() function# importing numpy as geekimport n...
PyTorch 1.0 中文文档：torch.cuda
weixin_30410119的博客
02-03 278
译者：bdqfork 这个包添加了对CUDA张量类型的支持，它实现了与CPU张量同样的功能，但是它使用GPU进计算。 它是懒加载的，所以你可以随时导入它，并使用 is_available() 来决定是否让你的系统支持CUDA。 CUDA semantics 有关于使用CUDA更详细的信息。 torch.cuda.current_blas_handle() 返回一个cublasHandle_t指...
Numpy : 关于np.finfo函数
lcqin111的博客
04-23 1万+
用法在这个网页中讲的比较好，有例子 先上代码： #这是一个faster-rcnn中bbox_tools中的代码 eps = xp.finfo(height.dtype).eps height = xp.maximum(height, eps) width = xp.maximum(width, eps) dy = (base_ctr_y - ctr_y) /...
PyTorch 1.0 中文文档：常见问题解答
weixin_30240349的博客
03-07 161
译者：冯宝宝 我的模型报告“cuda runtime error(2): out of memory” 正如错误消息所示，您的GPU显存已耗尽。由于经常在PyTorch中处理大量数据，因此小错误会迅速导致程序耗尽所有GPU资源; 幸运的是，这些情况下的修复通常很简单。这里有一些常见点需要检查： 不要在训练循环中积累历史记录。 默认情况下，涉及需要梯度计算的变量将保留历史记录。这意味着您应该避免...
PyTorc 1.0 中文文档：扩展PyTorch
热门推荐
龙哥盟
03-07 3万+
译者：PEGASUS1993 本章中，将要介绍使用我们的C库如何扩展torch.nn，torch.autograd和编写自定义的C扩展工具。 扩展torch.autograd 添加操作autograd需要Function为每个操作实现一个新的子类。回想一下，Function使用autograd来计算结果和梯度，并对操作历史进行编码。每个新功能都需要您实现两种方法： forward() - ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值