pytorch学习笔记1

• torch.randn_like()
  function：生成新的张量，保持原始张量的size及数据类型

a = torch.ones(3,3, dtype = torch.float)
x = torch.randn_like(a)    # x 的size为3×3，且dtype为torch.float

• tensor_1.data.norm(p)
  function: 得到张量tensor_1的p范数，默认为2范数

a = torch.rand(3)
y = a.data.norm(3)  #  得到 a 的3范数
# 或者 y = torch.norm(a,3)   

• out.backward()
  function：进行反向传播，计算梯度

x = torch.randn(3, requires_grad = True)
y = (x*3).sum()
y.backward()   
print(x.grad)  

注意! 此时的out必须是标量，否则无法计算

在不断地进行1.更新y和2.y.backward() 两个步骤时 ，梯度会累加（这里的y仅仅代表张量名，每次都可以不一样）。若重新计算梯度，则可调用optimizer.zero_grad()“清空”梯度。

• y.backward(v)
  function: 根据链式法则，通过计算vector与Jacobian matrix的乘积得到梯度$\partial l/\partial \vec{x}$（如下图）
  $y,v,l$的关系: $l$关于$y$的函数为 $l=g(\vec{y})$，$v={(\frac{\partial l}{\partial y_1}...\frac{\partial l}{\partial y_m})}^T$
  
  

x = torch.randn(3, requires_grad = True)
y = x*3

v = torch.tensor([1.0, 0.5, 1.0], dtype=torch.float)
y.backward(v)
print(x.grad)