【学习琐记】pytorch tensor常用操作收集中...

Pytorch Tensor的基础操作

次次记不住，次次现查，为提高效率，痛定思痛，决定整理笔记帮助自己记忆。

1. 创建

1. 直接创建
   从元组
   a = torch.Tensor((2,3,4))
   a.requires_grad=True
   a = a.type(torch.float)
   device = torch.device(“cuda:1”)
   a.to(device)
   数据类型：torch.float, torch.float64, torch.int, torch.int64
   从list
   list_a = [2,3,4]
   a = torch.Tensor(list_a)
   从numpy
   n_a = np.array((2,3,4))
   a = torch.from_numpy(n_a)
   n_a = a.numpy()
   转换后a和n_a共享一块内存，这也是转换效率高的原因，改变n_a，a也随之改变
2. 创建特定形式tensor
   全1
   a = torch.ones(2,3) # shape
   全0
   a = torch.zeros(2,3)
   均匀分布随机
   a = torch.rand(2,3)
   正态分布
   a = torch.randn(2,3)

2. 基本运算

a+b
torch.add(a,b)
a.add(b)
a.add_(b) 结果会赋值给a

3. embedding和parameter

n_samples = 10000
dim = 768
pretrianed_emb = torch.randn(n_samples,dim)
torch.nn.Embedding(n_samples,dim)
torch.nn.Embedding.from_pretrained(pretrianed_embedding.cuda(), requires_grad=False)

param = torch.nn.Parameter(torch.Tensor(n_samples,dim), requires_grad=True)
nn.init.xavier_uniform_(param, gain=nn.init.calculate_gain(“relu”))

4. 创建MLP层/nn.Sequential和nn.ModuleList的区别

区别参考：详解PyTorch中的ModuleList和Sequential

一般情况下 nn.Sequential 的用法是来组成卷积块 (block)，然后像拼积木一样把不同的 block 拼成整个网络，让代码更简洁，更加结构化。

MLP模块

modules = []
pre_dim = self.text_dim
for dim in hiddens: # hiddens = [256,128]
	modules.append(
		nn.Sequential(
			nn.Linear(pre_dim,dim),
			nn.ReLU()
		)
    )
    pre_dim = dim
 self.MLP = nn.Sequential(*modules)