pytorch 基础

zero_grad() 梯度清零函数

# 调用backward()函数之前都要将梯度清零，因为如果梯度不清零，
# pytorch中会将上次计算的梯度和本次计算的梯度累加。这样逻辑的好处是，
# 当我们的硬件限制不能使用更大的bachsize时，使用多次计算较小的bachsize的梯度平均值来代替，更方便，
# 坏处当然是每次都要清零梯度。
# 总结就是进来一个batch的数据，计算一次梯度，更新一次网络
optimizer.zero_grad()  # 清空过往梯度
loss.backward()  # 反向传播，计算当前梯度 w.grad = ▽loss/▽w
optimizer.step()  # 根据梯度更新网络参数 w = w - lr*w.grad b = b - lr*b.grad,

iter()函数

iter_data= iter(dataloader)
next_dataloader = iter_data.next()

以访问一次epoch中访问其中一个bachsize大小的数据

len(source_loader)，torch loader数据的len 是计算什么？

pytorch中dataloader的大小将根据batch_size的大小自动调整。如果训练数据集有1000个样本，并且batch_size的大小为10，则dataloader的长度就是100。

torch.eye（）
Returns a 2-D tensor with ones on the diagonal and zeros elsewhere.
也可以指定位置为“1”值，传入制定index位置的array

x = [2,2,3,1,2,2,0]
torch.eye(4)[x,:] # 会返回指定位置为1，其他位置为0点二维矩阵

torch.ones_like

torch.ones_like(input, dtype=None, layout=None, device=None,> requires_grad=False)
Tensor 返回一个填充了标量值1的张量，其大小与input相同。

model.eval()

pytorch会自动把BN和DropOut固定住，不会取平均，而是用训练好的值。不然的话，一旦test的batch_size过小，很容易就会被BN层导致生成图片颜色失真极大；
在模型测试阶段使用