Pytorch Tensor的基础操作
次次记不住,次次现查,为提高效率,痛定思痛,决定整理笔记帮助自己记忆。
1. 创建
- 直接创建
从元组
a = torch.Tensor((2,3,4))
a.requires_grad=True
a = a.type(torch.float)
device = torch.device(“cuda:1”)
a.to(device)
数据类型:torch.float, torch.float64, torch.int, torch.int64
从list
list_a = [2,3,4]
a = torch.Tensor(list_a)
从numpy
n_a = np.array((2,3,4))
a = torch.from_numpy(n_a)
n_a = a.numpy()
转换后a和n_a共享一块内存,这也是转换效率高的原因,改变n_a,a也随之改变 - 创建特定形式tensor
全1
a = torch.ones(2,3) # shape
全0
a = torch.zeros(2,3)
均匀分布随机
a = torch.rand(2,3)
正态分布
a = torch.randn(2,3)
2. 基本运算
a+b
torch.add(a,b)
a.add(b)
a.add_(b) 结果会赋值给a
3. embedding和parameter
n_samples = 10000
dim = 768
pretrianed_emb = torch.randn(n_samples,dim)
torch.nn.Embedding(n_samples,dim)
torch.nn.Embedding.from_pretrained(pretrianed_embedding.cuda(), requires_grad=False)
param = torch.nn.Parameter(torch.Tensor(n_samples,dim), requires_grad=True)
nn.init.xavier_uniform_(param, gain=nn.init.calculate_gain(“relu”))
4. 创建MLP层/nn.Sequential和nn.ModuleList的区别
区别参考:详解PyTorch中的ModuleList和Sequential
一般情况下 nn.Sequential 的用法是来组成卷积块 (block),然后像拼积木一样把不同的 block 拼成整个网络,让代码更简洁,更加结构化。
MLP模块
modules = []
pre_dim = self.text_dim
for dim in hiddens: # hiddens = [256,128]
modules.append(
nn.Sequential(
nn.Linear(pre_dim,dim),
nn.ReLU()
)
)
pre_dim = dim
self.MLP = nn.Sequential(*modules)