pytorch函数
知己不识君
莫愁前路无知己,天下谁人不识君
展开
-
【网络收敛】如何根据loss判断网络是否收敛
Loss收敛评判标准:1、一般而言,当loss不再下降,趋于稳定时,就差不多收敛了,就意味着训练可以结束了2、有的人说0.001以下,但主要看效果Loss不收敛可能存在的问题: 首先你要保证训练的次数够多,不要以为一百两百次就会一直loss下降或者准确率一直提高,会有一点震荡的。只要总体收敛就行。若训练次数够多(一般上千次,上万次,或者几十个epoch)没收敛,则试试下面方法:1、数据归一化神经网络中对数据进行归一化是不可忽略的步骤,网络能不能正常工作,还得看你有没有做归一化,一般来讲,归一化就原创 2022-05-28 15:14:44 · 13962 阅读 · 1 评论 -
【pytorch函数】model.train() 和 model.eval()函数理解、BatchNorm和Dropout
网络训练时添加model.train(),测试时添加model.eval()如果模型中有BN层(Batch Normalization)和Dropout,需要在训练时添加model.train(),在测试时添加model.eval()。其中,model.train()是保证BN层用每一批数据的均值和方差,而model.eval()是保证BN用全部训练数据的均值和方差;而对于Dropout,model.train()是随机取一部分网络连接来训练更新参数,而model.eval()是利用到了所有网络连接.原创 2022-05-06 14:26:49 · 1119 阅读 · 0 评论 -
【pytorch报错】num_workers深度理解 && OSError: [WinError 1455] 页面文件太小,无法完成操作
【pytorch报错】num_workers深度理解 && OSError: [WinError 1455] 页面文件太小,无法完成操作原创 2022-03-30 20:11:27 · 3158 阅读 · 0 评论 -
pytorch 安装
pytorch 学习原创 2021-01-10 21:45:15 · 731 阅读 · 0 评论 -
nn.AdaptiveAvgPool3d
nn.AdaptiveAvgPool3d 官方解释:class AdaptiveAvgPool3d(_AdaptiveAvgPoolNd) | AdaptiveAvgPool3d(output_size: Union[int, Tuple[int, ...]]) -> None | | Applies a 3D adaptive average pooling over an input signal composed of several input planes. | |原创 2022-02-20 21:31:06 · 2574 阅读 · 0 评论 -
torch.cat和torch.sum的理解
torch.cat((A,B),dim) 或 torch.cat([A,B],dim) 拼接张量A和B,dim表示拼接方向,dim=0表示按行拼接(即两张量的列大小一致),反之dim=1表示按列拼接import torchA=torch.ones(2,3) #2x3的张量(矩阵)B=2*torch.ones(4,3)#4x3的张量(矩阵)C=torch.cat((A,B),0)#按维数0(行)拼接D=2*torch.ones(2,4) #2x4的张量(矩阵)E=torch.cat((A,.原创 2022-02-20 17:52:18 · 1704 阅读 · 0 评论 -
torch.transpose
torch.transpose 作用:一个tensor的两维度进行交换,只能有两个相互交换的位置参数>>> x = torch.randn((2, 3,4))>>> x.size()torch.Size([2, 3, 4])>>> y = torch.transpose(x,1,2) # 交换第二维和第三维>>> y.size()torch.Size([2, 4, 3])>>> y = torch.原创 2022-02-20 12:06:42 · 889 阅读 · 0 评论 -
torch.squeeze和torch.unsqueeze
torch.squeeze 作用:去除size为1的维度。当维度大于等于2时,squeeze()无作用。>>> x = torch.zeros(2, 1, 2, 1, 2)>>> x.size()torch.Size([2, 1, 2, 1, 2]) # 可以看出size=1的维度有第二维(对应下标1)和第四维(对应下标3) >>> y = torch.squeeze(x) # 去除size为1的维度,即第二维和第四维>>&原创 2022-02-20 11:59:09 · 752 阅读 · 0 评论