深度学习：张量与计算图篇

写在前面：最近在看一本书，做点笔记。《tensorflow+pytorch深度学习从算法到实践》。主要学习的是pytorch部分的内容，所以就跳过tensorflow部分。

tensorflow：静态计算图语言
pytorch：动态计算图语言

1 张量

0维的张量：标量
1维的张量：向量
2维的张量：矩阵
3维及以上的张量：是一般意义上我们所认为的张量。

1.1 pytorch的数据类型

创建一个张量：

import torch as t
a1 = t.tensor(1, dtype=t.float32)
a1
tensor(1.)

1.2 pytorch的标量算术计算

b1 = t.tensor(3, dtype=t.float32)
b2 = t.tensor(4, dtype=t.float32)
b3 = b1 + b2
b3
tensor(7.)

总结：对于pytorch而言，运算要比tensorflow简单一点，也不需要会话。sess = tf.Session()

2 计算图与流程控制

2.1 静态计算图与TensorFlow

• 静态计算图就是一门程序设计语言

包括：比较、逻辑运算、流程控制和调试运算。

2.2 动态计算图与PyTorch的流程控制

1. 比较操作 toch.eq
   注意的是，这里返回的是一个张量的值

t1 = t.tensor(1)
t2 = t.tensor(2)
print(t.eq(t1, t2))
tensor(False)

2. 比较操作 torch.equal
   这里返回一个bool值

3 代码01

• z = 2 * a + a * b

import torch

a = torch.tensor(3.)
b = torch.tensor(4., requires_grad=True)
a.requires_grad_(True)

f1 = 2 * a
f2 = a * b
z = f1 + f2

z.backward()
print(f"a.grad={a.grad}")
print(f"b.grad={b.grad}")

• requires_grad=True
  Tensor变量的requires_grad的属性默认为False,若一个节点requires_grad被设置为True，那么所有依赖它的节点的requires_grad都为True。

• backwqrd()
  只有标量才能backward

• 整个程序的作用：
  创建一个张量x，并设置其 requires_grad参数为True
  程序将会追踪所有对于该张量的操作，当完成计算后通过调用 .backward()
  自动计算所有的梯度， 这个张量的所有梯度将会自动积累到 .grad 属性。

3.1 pytorch 与计算图

注意：这里a和b的require_grad被设置成了True，所以就被设置成了绿色.
如果在计算过程中，不希望被计算出梯度，可以使用：
1 with torch.no_grad()
2 a.detach()