《深度学习框架PyTorch入门与实践》——学习笔记

表3-1: 常见新建tensor的方法

函数 							功能
Tensor(*sizes) 	基础构造函数
tensor(data,) 	类似np.array的构造函数
ones(*sizes) 	全1Tensor
zeros(*sizes) 	全0Tensor
eye(*sizes) 	对角线为1，其他为0
arange(s,e,step 	从s到e，步长为step
linspace(s,e,steps) 	从s到e，均匀切分成steps份
rand/randn(*sizes) 	均匀/标准分布
normal(mean,std)/uniform(from,to) 	正态分布/均匀分布
randperm(m) 	随机排列
tolist() 把tensor转换为list

表3-2常用的选择函数

index_select(input, dim, index) 	在指定维度dim上选取，比如选取某些行、某些列
masked_select(input, mask) 	例子如上，a[a>0]，使用ByteTensor进行选取
non_zero(input) 	非0元素的下标
gather(input, dim, index) 	根据index，在dim维度上选取数据，输出的size与index一样

表3-3: tensor数据类型

Data type 	dtype 	CPU tensor 	GPU tensor
32-bit floating point 	torch.float32 or torch.float 	torch.FloatTensor 	torch.cuda.FloatTensor
64-bit floating point 	torch.float64 or torch.double 	torch.DoubleTensor 	torch.cuda.DoubleTensor
16-bit floating point 	torch.float16 or torch.half 	torch.HalfTensor 	torch.cuda.HalfTensor
8-bit integer (unsigned) 	torch.uint8 	torch.ByteTensor 	torch.cuda.ByteTensor
8-bit integer (signed) 	torch.int8 	torch.CharTensor 	torch.cuda.CharTensor
16-bit integer (signed) 	torch.int16 or torch.short 	torch.ShortTensor 	torch.cuda.ShortTensor
32-bit integer (signed) 	torch.int32 or torch.int 	torch.IntTensor 	torch.cuda.IntTensor
64-bit integer (signed) 	torch.int64 or torch.long 	torch.LongTensor 	torch.cuda.LongTensor

表3-4: 常见的逐元素操作

abs/sqrt/div/exp/fmod/log/pow.. 	绝对值/平方根/除法/指数/求余/求幂..
cos/sin/asin/atan2/cosh.. 	相关三角函数
ceil/round/floor/trunc 	上取整/四舍五入/下取整/只保留整数部分
clamp(input, min, max) 	超过min和max部分截断
sigmod/tanh.. 	激活函数

表3-5: 常用归并操

mean/sum/median/mode 	均值/和/中位数/众数
norm/dist 	范数/距离
std/var 	标准差/方差
cumsum/cumprod 	累加/累乘

表3-6: 常用比较函数

gt/lt/ge/le/eq/ne 	大于/小于/大于等于/小于等于/等于/不等
topk 	最大的k个数
sort 	排序
max/min 	比较两个tensor最大最小值

表3-7: 常用的线性代数函数

trace 	对角线元素之和(矩阵的迹)
diag 	对角线元素
triu/tril 	矩阵的上三角/下三角，可指定偏移量
mm/bmm 	矩阵乘法，batch的矩阵乘法
addmm/addbmm/addmv/addr/badbmm.. 	矩阵运算
t 	转置
dot/cross 	内积/外积
inverse 	求逆矩阵
svd 	奇异值分解