- 博客(4)
- 收藏
- 关注
RSS订阅原创 学习随笔：F.interpolate（）
其中有一个参数需要注意，align_corners,若其值为True，那么采用将数组的四个角的元素固定，在其内部填充如左图，若为False，那么将在每个元素四周填充元素，如右图。首次接触到这个函数是在Unet中，进行下采样操作时，查了一下资料。F.interpolate（）利用插值的方法，改变原数组的大小。
2023-12-08 11:51:22
621
原创 学习随笔：torch.cat()
'inputs为２个形状为[2 , 3]的矩阵 'torch.cat()一种常见的拼接函数。不使用torch.cat()使用torch.cat()后。
2023-12-08 11:26:54
288
原创 学习随笔：nn.init.xavier_normal_()
若parameter初始值大，传递过程中方差会迅速增大，此时Next Layer的输入值也会明显增大，导致经过sigmoid函数时，值的范围依旧在0附近，反向传播时，会出现梯度消失的现象。若parameter初始值小，传递过程中方差会逐渐趋近与0，此时Next Layer的输入值也会变小，导致经过sigmoid函数时，值的范围在0附近，造成非线性消失。Xavier初始化的目的：（假设使用sigmoid函数作激活函数）
2023-12-07 11:44:54
731
1
原创 学习随笔：torch.nn.Parameter()
参数是 Tensor 子类，当与模块一起使用时，它们具有非常特殊的属性 - 当它们被指定为模块属性时，它们会自动添加到其参数列表中，并且会出现在 parameters（） 迭代器中。分配 Tensor 不会产生这种效果。这是因为人们可能希望在模型中缓存一些临时状态，例如 RNN 的最后隐藏状态。如果没有 Parameter 这样的类，这些临时变量也会被注册。简而言之：可以将一个没有梯度的、不可训练的tensor，转换成一个有梯度、可训练的tensor。
2023-12-07 11:29:21
357
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人