Pytorch-02 Tensor运算

Tensor概述

在计算机科学中，Tensor（张量）是一个多维数组，可以存储和处理大量数据。在机器学习和深度学习领域，Tensor 被广泛应用于表示神经网络中的数据、权重、梯度等信息。Tensor 的维度可以是任意的，可以是一维、二维、三维甚至更高维度的数组。

在深度学习框架中，如 PyTorch 和 TensorFlow，Tensor 是这些框架的核心数据结构，用于进行各种数学运算、神经网络的前向传播和反向传播等操作。Tensor 可以存储不同类型的数据，如浮点数、整数等，同时支持各种操作，如加法、乘法、矩阵运算等。

总的来说，Tensor 是一个非常灵活和强大的数据结构，在深度学习中扮演着重要的角色。通过使用 Tensor，开发人员可以高效地处理和操作大规模的数据集，从而构建和训练复杂的神经网络模型。

PyTorch Tensor 是一个可以包含多维数据的多维数组，类似于 NumPy 的 ndarray，但 Tensor 可以在 GPU 上进行加速计算。Tensor 是 PyTorch 中最重要的数据结构，是 PyTorch 实现深度学习功能的基础。

以下是 PyTorch Tensor 的一些主要特点和功能：

1. 数据类型：Tensor 可以支持多种数据类型，包括但不限于 32 位浮点型（float32）、64 位浮点型（float64）、16 位浮点型（float16）、8 位无符号整型（uint8）、32 位整型（int32）等。数据类型可以根据需要进行转换。
2. 设备支持：Tensor 可以存储在 CPU 或 GPU 上，这使得 PyTorch 能够在不同的硬件上高效地进行计算。通过简单地指定设备，可以轻松地在 CPU 和 GPU 之间移动 Tensor。
3. 自动微分：PyTorch Tensor 支持自动微分功能，这是深度学习模型训练中的关键步骤。通过自动计算梯度，可以方便地优化模型的参数。
4. 广播机制：类似于 NumPy，PyTorch Tensor 也支持广播机制，这允许在执行逐元素操作时自动扩展维度以匹配操作数。
5. 高级索引：PyTorch Tensor 提供了丰富的高级索引功能，可以方便地对 Tensor 进行切片、选择、修改等操作。
6. 并行计算：当使用 GPU 时，PyTorch Tensor 可以充分利用 GPU 的并行计算能力，加速深度学习模型的训练和推理过程。
7. 与 NumPy 兼容：PyTorch Tensor 与 NumPy ndarray 非常相似，可以方便地进行转换。此外，许多 PyTorch 操作也与 NumPy 函数具有相似的接口和用法。

总的来说，PyTorch Tensor 是一个功能强大、灵活且高效的多维数组结构，特别适用于深度学习和科学计算任务。

Tensor运算

1. Numpy数组与Torch张量的相互转化

在 PyTorch 中，你可以很方便地将NumPy数组和Torch张量相互转化。这种转化可以帮助你在使用 PyTorch 进行深度学习任务时，方便地处理数据。以下是将 NumPy 数组转换为 Torch张量 和将 Torch张量 转换为 NumPy 数组的示例代码：

NumPy数组转换为Torch张量：

import numpy as np
import torch

# 创建一个 NumPy 数组
numpy_array = np.array([[1, 2, 3], [4, 5, 6]])

# 将 NumPy 数组转换为 PyTorch Tensor
torch_tensor = torch.from_numpy(numpy_array)

print("NumPy 数组:")
print(numpy_array)

print("\n转换为 PyTorch Tensor:")
print(torch_tensor)

Torch张量转换为NumPy数组：

import numpy as np
import torch

# 创建一个 PyTorch Tensor
torch_tensor = torch.tensor([[1, 2, 3], [4, 5, 6]])

# 将 PyTorch Tensor 转换为 NumPy 数组
numpy_array = torch_tensor.numpy()

print("PyTorch Tensor:")
print(torch_tensor)

print("\n转换为 NumPy 数组:")
print(numpy_array)

2. Torch张量的属性认识与查看

在 PyTorch 中，你可以使用一些属性来查看 Tensor 的信息，如形状、数据类型等。以下是一个示例代码，展示如何查看 PyTorch Tensor 的属性：

import torch

# 创建一个大小为 2x3 的随机初始化的 Tensor
tensor = torch.rand(2, 3)

# 查看 Tensor 的形状
print("Tensor 的形状:")
print(tensor.size())

# 查看 Tensor 的数据类型
print("\nTensor 的数据类型:")
print(tensor.dtype)

# 查看 Tensor 是否在 GPU 上
print("\nTensor 是否在 GPU 上:")
print(tensor.is_cuda)

# 查看 Tensor 的梯度是否被跟踪
print("\nTensor 的梯度是否被跟踪:")
print(tensor.requires_grad)

# 查看 Tensor 的存储方式
print("\nTensor 的存储方式:")
print(tensor.storage())

# 查看 Tensor 的元素个数
print("\nTensor 的元素个数:")
print(tensor.numel())

在这个示例中，我们首先创建了一个随机初始化的 Tensor，然后展示了如何使用不同的属性方法来查看 Tensor 的形状、数据类型、是否在 GPU 上、梯度是否被跟踪、存储方式以及元素个数等信息。

通过查看 Tensor 的属性，你可以更好地了解和控制你的数据在 PyTorch 中的处理方式。希望这个示例能帮助你学习如何查看 PyTorch Tensor 的属性。

3. 常见的Torch张量创建和数据类型

在 PyTorch 中，有几种常见的方法可以创建不同类型的 Tensor。以下是一些常见的张量创建方式及示例代码：

创建一个随机初始化的 Tensor：

import torch

# 创建一个大小为 2x3 的随机初始化的 FloatTensor
rand_tensor = torch.rand(2, 3)
print("随机初始化的 Tensor:")
print(rand_tensor)

创建一个全零的 Tensor：

import torch

# 创建一个大小为 3x3 的全零 FloatTensor
zeros_tensor = torch.zeros(3, 3)
print("\n全零 Tensor:")
print(zeros_tensor)

创建一个全一的 Tensor：

import torch

# 创建一个大小为 2x2 的全一 FloatTensor
ones_tensor = torch.ones(2, 2)
print("\n全一 Tensor:")
print(ones_tensor)

通过范围创建一个 Tensor：

import torch

# 创建一个从 0 到 4 的整数序列 Tensor
range_tensor = torch.arange(5)
print("\n范围 Tensor:")
print(range_tensor)

通过指定值创建一个 Tensor：

import torch

# 创建一个指定值（如 5）的大小为 2x2 的 Tensor
value_tensor = torch.full((2, 2), 5)
print("\n指定值 Tensor:")
print(value_tensor)

在 PyTorch 中，你可以通过指定 dtype 参数来创建指定类型的 Tensor。PyTorch 支持多种数据类型，常见的数据类型包括：

• torch.float32 或 torch.float：32 位浮点数
• torch.float64 或 torch.double：64 位浮点数
• torch.float16 或 torch.half：16 位浮点数
• torch.int8：8 位整数
• torch.int16 或 torch.short：16 位整数
• torch.int32 或 torch.int：32 位整数
• torch.int64 或 torch.long：64 位整数
• torch.bool：布尔类型

以下是一个示例代码，展示如何创建指定类型的 Tensor：

import torch

# 创建一个大小为 2x2 的 FloatTensor
float_tensor = torch.tensor([[1.0, 2.0], [3.0, 4.0]], dtype=torch.float32)
print("FloatTensor:")
print(float_tensor)
print("数据类型:", float_tensor.dtype)

# 创建一个大小为 2x2 的 IntTensor
int_tensor = torch.tensor([[1, 2], [3, 4]], dtype=torch.int32)
print("\nIntTensor:")
print(int_tensor)
print("数据类型:", int_tensor.dtype)

# 创建一个大小为 2x2 的 BoolTensor
bool_tensor = torch.tensor([[True, False], [False, True]], dtype=torch.bool)
print("\nBoolTensor:")
print(bool_tensor)
print("数据类型:", bool_tensor.dtype)

4. Torch张量的简单运算与函数运算

当涉及 PyTorch 张量的简单运算和函数运算时，你可以执行各种数学运算，如加法、减法、乘法，以及应用各种函数，如平方、开方等。

在 PyTorch 中，对张量进行加法、减法、乘法、函数应用等操作时，默认情况下是按元素进行的。这意味着每个张量中对应位置的元素会进行相应的操作，而不会改变张量的形状或维度。

举例来说，如果有两个相同形状的张量 x 和 y，执行 x + y 将会对这两个张量中对应位置的元素进行相加，得到一个新的张量，新张量中的每个元素都是原始张量中对应位置元素的和。

以下是一些示例代码，展示了 PyTorch 张量的简单运算和函数运算：

简单运算示例：

import torch

# 创建两个张量
x = torch.tensor([1.0, 2.0, 3.0])
y = torch.tensor([4.0, 5.0, 6.0])

# 加法运算
sum_tensor = x + y
print("加法运算结果:")
print(sum_tensor)

# 减法运算
sub_tensor = x - y
print("\n减法运算结果:")
print(sub_tensor)

# 乘法运算
mul_tensor = x * y
print("\n乘法运算结果:")
print(mul_tensor)

函数运算示例：

import torch

# 创建一个张量
tensor = torch.tensor([1.0, 4.0, 9.0])

# 求平方根
sqrt_tensor = torch.sqrt(tensor)
print("平方根运算结果:")
print(sqrt_tensor)

# 求平方
square_tensor = torch.square(tensor)
print("\n平方运算结果:")
print(square_tensor)

# 求自然对数
log_tensor = torch.log(tensor)
print("\n自然对数运算结果:")
print(log_tensor)