![](https://img-blog.csdnimg.cn/404b76f1aea2482cbccb4f4d5ae11c8a.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
PyTorch
文章平均质量分 54
Something about PyTorch
__momo__
AI4Science & CV
展开
-
Batch Size 不同对evaluation performance的影响
深度学习网络训练时,使用较小的batch size训练网络后,如果换用较大的batch size进行evaluation,网络的预测能力会显著下降。如果evaluation的batch size和train的batch size大小相同时,则不会遇到此类问题。GN 把通道分为组,并计算每一组之内的均值和方差,以进行归一化。LN 和 IN 在视觉识别上的成功率都是很有限的,对于训练序列模型(RNN/LSTM)或生成模型(GAN)很有效。所以,在视觉领域,BN用的比较多,GN就是为了改善BN的不足而来的。原创 2024-07-03 12:03:58 · 778 阅读 · 0 评论 -
本地浏览器打开服务器events.out.tfevents文件
本地浏览器打开服务器events.out.tfevents文件。原创 2023-09-06 16:04:34 · 319 阅读 · 0 评论 -
如何理解图卷积网络GCN
可以调用中的GCNConv进行实现。if bias:else:# 1.消息传递# 1.对所有节点进行新的空间映射# 2.添加偏置= None:# 3.返回source、target信息,对应边的起点和终点# 4.获得度矩阵# 5.度矩阵归一化# 6.计算sqrt(deg(i)) * sqrt(deg(j))# 7.返回所有边的映射# 8.计算归一化后的节点特征return x_j# 2.消息聚合# 1.返回source、target信息,对应边的起点和终点。原创 2024-01-02 10:56:57 · 928 阅读 · 0 评论 -
深度学习中Batch/Layer/Instance/Group normalization方法
图片中,N是batch size, c是channel。原创 2023-12-31 16:23:04 · 408 阅读 · 0 评论 -
torch_geometric 使用 batch
torch.geometric的batch不支持CNN中广泛使用的batch维度。CNN中使用batch的数据具有。基于torch.geometric的data具有node和edge的特征,其中node的维度表示为。中起始点和终点的index都必须小于nodes的个数(因为默认从0开始)将数据转换成Batch格式,或者手动将node concate成。与GCNConv, SAGEConv不同的是,当使用。,edge_index concate成。,edge的维度表示为。原创 2023-12-11 21:30:23 · 1101 阅读 · 0 评论 -
Linux CUDA11.6 Python3.8 安装pytorch-geometric
Pytorch-gemetric适配 python3.8-3.11版本。原创 2023-12-06 11:24:39 · 537 阅读 · 0 评论 -
loss.detach().item(), loss.detach(), loss.item()的区别,以及requires_grad=True/False区别
最近的程序总会在运行了几个epoch之后CUDA out of memory,除了常见的几种解决方法以外,还有一种是在train loss合并的时候,没有选择detach,或者item,导致反向梯度在合并的时候进行了累计。原创 2023-11-10 11:18:27 · 838 阅读 · 0 评论 -
torch.nn.CrossEntropyLoss报错及解决
不然softmax无法计算,及model的output channel = class number。假设传入torch.nn.CrossEntropyLoss的参数为。根据官网文档,如果直接使用class进行分类,pred的维度应该是。注意在网络输出的channel中加入。,label的维度应该是。原创 2022-12-14 12:56:04 · 11365 阅读 · 3 评论 -
torch.inverse报错及其解决办法
网上也查不到相应的解决方法,也不是GPU显存不够出现的问题,因此选择使用cpu进行计算,然后再放到cuda上。原因是少安装了libnvJitLink.so.12这个库,在安装完之后依旧出现报错。原创 2023-05-15 17:13:45 · 3622 阅读 · 2 评论 -
报错CUDA error: no kernel image is available for execution on the device
在这种情况下默认安装的是CPU版本的pytorch,因此如果使用GPU运行会出现CUDA版本不匹配的问题,即CUDA error: no kernel image is available for execution on the device。中给出了不同版本的pytorch对应的torchvision、torch audio和CUDA版本,十分实用。在安装pytorch的时候,如果服务器上有GPU,不能直接使用。的安装命令,如果需要安装GPU版本的pytorch,可以使用。原创 2023-06-18 18:44:22 · 1620 阅读 · 0 评论