Pytorch
文章平均质量分 58
清晨的光明
努力写bug中...
展开
-
CV领域 交叉注意力(Cross Attention)中QKV的含义理解
再用Key向量的维度进行scaling,即将计算得到的相似度矩阵维度,:将重要特征的强弱程度权重系数矩阵施加到图像特征上,得到最终的。:Q和K相乘,对应Query和Key进行点积运算,得到的是。(2)Q:告诉attention需要关注哪些重要特征。,即Q中任一元素与K的每个元素相似度权重之和都为1;,这个系数矩阵代表在图像特征上。(1)K=V:图像的全局特征。(重要特征是Q所提供的)。:对相似度权重矩阵进行。原创 2024-03-27 20:14:42 · 4016 阅读 · 0 评论 -
TypeError: _foreach_add(): argument ‘alpha‘ must be Number, not NoneType
使用最新版本detectron2代码时出现的问题,是因为最新版本的detectron2的配置文件中的小数不支持科学计数法,例如1e-4。1.将detectron2版本降低,报错消失(不是很推荐,修改版本往往会引起其他问题 )原创 2024-02-29 20:42:53 · 491 阅读 · 0 评论 -
UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argume
从官方源码中可以看到,在PyTorch将来的版本中,torch.meshgrid函数的indexing参数默认值将由 indexing='ij' 修改为 indexing='xy'。indexing='ij',以防后续版本升级后,在不知情的情况下出现数据索引错乱!原创 2024-02-29 20:12:42 · 2180 阅读 · 0 评论 -
RuntimeError: Expected to have finished reduction in the prior iteration before starting a new one.
打印出来的参数就是没有参与loss运算的部分,他们梯度为None。1. 首先尝试使用单卡训练,查看是否报错,原创 2023-12-17 16:13:53 · 1015 阅读 · 0 评论 -
Pytorch中contiguous()函数理解
引言在pytorch中,只有很少几个操作是不改变tensor的内容本身,而只是重新定义下标与元素的对应关系的。换句话说,这种操作不进行数据拷贝和数据的改变,变的是元数据。会改变元数据的操作是:narrow() view() expand() transpose()在使用transpose()进行转置操作时,pytorch并不会创建新的、转置后的tensor,而是修改了tensor中的一些属性(也就是元数据),使得此时的offset和stride是与转置tensor相对应的。转置的t.原创 2020-08-23 11:13:31 · 78912 阅读 · 17 评论 -
subprocess.py报错:FileNotError: [Errno 2] No such file or directory: java: java
在运行coco计算ImageCaption得分时,出现以下错误:subprocess.py报错:FileNotError: [Errno 2] No such file or directory: 'java': 'java'原因:coco在执行 ptbtokenizer.py 时,需要调用 stanford-corenlp-3.4.1.jar 包,使用java进行运算,如果机器上没有装java环境时,就会报错!解决方法:安装java环境,Linux上详细安装步骤请参考我写的另一.原创 2020-06-28 22:08:02 · 3927 阅读 · 1 评论 -
TensorFlow & Pytorch 英伟达GPU驱动安装
TensorFlowGPU驱动安装参考资料:https://tensorflow.google.cn/install/gpu1、安装NVIDIA® GPU drivers 下载地址:https://www.nvidia.com/Download/index.aspx?lang=en-us注意:CUDA Toolkit版本需要与下面下载安装的版本一致(经测试,Tensor...原创 2019-12-12 15:47:31 · 1056 阅读 · 0 评论 -
(第一篇)pytorch数据预处理三剑客之——Dataset,DataLoader,Transform
前言:在深度学习中,数据的预处理是第一步,pytorch提供了非常规范的处理接口,本文将针对处理过程中的一些问题来进行说明,本文所针对的主要数据是图像数据集。本文的案例来源于车道线语义分割,采用的数据集是tusimple数据集,当然先需要将tusimple数据集写一个简单的脚本程序转换成指定的数据格式,如下:一、基本概述pytorch输入数据PipeLine一般遵循一个“三步走”的策略,...转载 2019-11-27 11:29:29 · 5628 阅读 · 0 评论 -
Pytorch中index_select() 函数的理解
函数形式:index_select( dim, index)参数:dim:表示从第几维挑选数据,类型为int值; index:表示从第一个参数维度中的哪个位置挑选数据,类型为torch.Tensor类的实例;功能:从张量的某个维度的指定位置选取数据。代码实例:t = torch.arange(24).reshape(2, 3, 4) # 初始化一...原创 2019-11-16 16:14:29 · 28024 阅读 · 3 评论