Pytorch学习笔记1——Pytorch基础

Pytorch学习笔记1——Pytorch基础

1.张量(Tensor)

张量的英文是Tensor，它是PyTorch里面基础的运算单位，与Numpy中的ndarray相同都表示的是一个多维的矩阵。 与ndarray的最大区别就是，PyTorch的Tensor可以在 GPU 上运行，而 numpy 的 ndarray 只能在 CPU 上运行，在GPU上运行大大加快了运算速度

首先导入所需库函数

import torch
import numpy as np
torch.__version__

下面我们生成一个简单的张量

x = torch.rand(2, 3)
print(x)

tensor([[0.6904, 0.7419, 0.8010],
        [0.1722, 0.2442, 0.8181]])

以上生成了一个，2行3列的的矩阵，我们看一下他的大小：

# 可以使用与numpy相同的shape属性查看
print(x.shape)
# 也可以使用size()函数，返回的结果都是相同的
print(x.size())

torch.Size([2, 3])
torch.Size([2, 3])

下面我们来生成一些多维的张量：

pythony=torch.rand(2,3,4,5)
print(y.size())

torch.Size([2, 3, 4, 5])

在同构的意义下:

• 第零阶张量 （r = 0） 为标量 （Scalar）
• 第一阶张量 （r = 1） 为向量 （Vector）
• 第二阶张量 （r = 2） 则成为矩阵 （Matrix）
• 第三阶以上的统称为多维张量

其中要特别注意的就是标量，我们先生成一个标量：

#我们直接使用现有数字生成
scalar =torch.tensor(3.1433223)
print(scalar)
#打印标量的大小
scalar.size()

tensor(3.1433)
torch.Size([])

对于标量，我们可以直接使用 .item() 从中取出其对应的python对象的数值

scalar.item()

3.143322229385376

特别的：如果张量中只有一个元素的tensor也可以调用tensor.item方法

tensor = torch.tensor([3.1433223]) 
print(tensor)
tensor.size()

tensor([3.1433])
torch.Size([1])

tensor.item()

3.143322229385376

2.Tensor的基本类型

Tensor的基本数据类型有五种：

• 32位浮点型：torch.FloatTensor(默认)
• 64位浮点型：torch.DoubleTensor
• 64位整型：torch.LongTensor
• 32位整型：torch.IntTensor
• 16位整型：torch.ShortTensor
• 除以上数字类型外，还有 byte和chart型

long=tensor.long()
long

tensor([3])

half=tensor.half()
half

tensor([3.1426], dtype=torch.float16)

int_t=tensor.int()
int_t

tensor([3], dtype=torch.int32)

flo = tensor.float()
flo

tensor([3.1433])

short = tensor.short()
short

tensor([3], dtype=torch.int16)

ch = tensor.char()
ch

tensor([3], dtype=torch.int8)

bt = tensor.byte()
bt

tensor([3], dtype=torch.uint8)

3.Numpy类型与Tensor类型相互转化

使用numpy方法将Tensor转为ndarray

a = torch.randn((3, 2))
# tensor转化为numpy
numpy_a = a.numpy()
print(numpy_a)

[[ 0.46819344  1.3774964 ]
 [ 0.9491934   1.4543315 ]
 [-0.42792308  0.99790514]]

numpy转化为Tensor

torch_a = torch.from_numpy(numpy_a)
torch_a

tensor([[ 0.4682,  1.3775],
        [ 0.9492,  1.4543],
        [-0.4279,  0.9979]])

Tensor和numpy对象共享内存，所以他们之间的转换很快，而且几乎不会消耗什么资源。但这也意味着，如果其中一个变了，另外一个也会随之改变。

4.CPU与GPU设备之间的转化

一般情况下可以使用.cuda方法将tensor移动到gpu，这步操作需要cuda设备支持

cpu_a=torch.rand(4, 3)
cpu_a.type()

'torch.FloatTensor'

gpu_a=cpu_a.cuda()
gpu_a.type()

'torch.cuda.FloatTensor'

使用.cpu方法将tensor移动到cpu

cpu_b=gpu_a.cpu()
cpu_b.type()

'torch.FloatTensor'

如果我们有多GPU的情况，可以使用to方法来确定使用那个设备，这里只做个简单的实例：

#使用torch.cuda.is_available()来确定是否有cuda设备
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print(device)
#将tensor传送到设备
gpu_b=cpu_b.to(device)
gpu_b.type()

cuda
'torch.cuda.FloatTensor'

5.Tensor的初始化

Pytorch中有许多默认的初始化方法可以使用

# 使用[0,1]均匀分布随机初始化二维数组
rnd = torch.rand(5, 3)
rnd

tensor([[0.3804, 0.0297, 0.5241],
        [0.4111, 0.8887, 0.4642],
        [0.7302, 0.5913, 0.7182],
        [0.3048, 0.8055, 0.2176],
        [0.6195, 0.1620, 0.7726]])

##初始化，使用1填充
one = torch.ones(2, 2)
one

tensor([[1., 1.],
        [1., 1.]])

##初始化，使用0填充
zero=torch.zeros(2,2)
zero

tensor([[0., 0.],
        [0., 0.]])

#初始化一个单位矩阵，即对角线为1 其他为0
eye=torch.eye(2,2)
eye

tensor([[1., 0.],
        [0., 1.]])

6.对张量进行的常用操作

PyTorch中对张量的操作api 和 NumPy 非常相似，如果熟悉 NumPy 中的操作，那么他们二者基本是一致的：

x = torch.randn(3, 3)
print(x)

tensor([[ 0.6922, -0.4824,  0.8594],
        [ 0.4509, -0.8155, -0.0368],
        [ 1.3533,  0.5545, -0.0509]])

max_value, max_idx = torch.max(x, dim=1)
print(max_value, max_idx)

tensor([0.8594, 0.4509, 1.3533]) tensor([2, 0, 0])

# 每行 x 求和
sum_x = torch.sum(x, dim=1)
print(sum_x)

tensor([ 1.0692, -0.4014,  1.8568])

y=torch.randn(3, 3)
z = x + y
print(z)

tensor([[-0.3821, -2.6932, -1.3884],
        [ 0.7468, -0.7697, -0.0883],
        [ 0.7688, -1.3485,  0.7517]]

正如官方60分钟教程中所说，以_为结尾的，均会改变调用值

# add 完成后x的值改变了
x.add_(y)
print(x)

tensor([[-0.3821, -2.6932, -1.3884],
        [ 0.7468, -0.7697, -0.0883],
        [ 0.7688, -1.3485,  0.7517]])