深度学习张量 和 张量移动

为什么要转换为张量？

1. 高效的数值计算：

   • 张量在深度学习库（如PyTorch和TensorFlow）中是基本的数据结构，专为高效的数值计算设计。
   • 与普通的Python列表相比，张量在大规模计算时能够更高效地利用底层硬件（如CPU和GPU）的性能。

2. 自动求导：

   • 深度学习中的反向传播算法需要对神经网络中的参数进行梯度计算。
   • 张量对象支持自动求导功能，可以跟踪所有操作并自动计算梯度，极大地方便了神经网络的训练过程。

3. GPU加速：

   • GPU擅长并行计算，能显著加速深度学习中的大规模矩阵运算。
   • 将数据转换为张量并将其移动到GPU上，可以充分利用GPU的计算能力，加速训练和推理过程。

如何将列表转换为张量？

# toy code

import torch
import numpy as np

# Python列表
python_list = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]

# 将Python列表转换为NumPy数组
numpy_array = np.array(python_list)

# 将NumPy数组转换为PyTorch张量
tensor = torch.tensor(numpy_array)

# 或者直接从Python列表转换为张量
tensor = torch.tensor(python_list)

# 检查是否有可用的GPU
if torch.cuda.is_available():
    # 将张量移动到GPU
    tensor = tensor.to('cuda')

print(tensor)

在进行深度学习训练时，哪些数据类型一般都会转换为tensor？

1. 输入数据（训练数据和测试数据）：

   • 图像数据：从图像文件读取的像素值数组（通常是NumPy数组或PIL图像对象）会转换为张量。例如，在图像分类任务中，图像数据会被转换为形状为(batch_size, channels, height, width)的张量。
   • 文本数据：经过文本预处理（如词嵌入或词袋模型）后的数值表示（通常是NumPy数组或Python列表）会转换为张量。例如，在自然语言处理任务中，文本数据会被转换为形状为(batch_size, sequence_length)的张量。
   • 时间序列数据：例如金融数据、传感器数据等，会转换为张量，以便在时序模型中进行处理。

2. 标签（目标值）：

   • 分类标签：通常是整数数组或列表，表示每个样本的类别。这些标签会转换为张量，用于计算损失函数。
   • 回归标签：通常是浮点数数组或列表，表示每个样本的目标值。这些标签也会转换为张量。

3. 模型参数：

   • 模型中的权重和偏置参数会被初始化为张量，并在训练过程中不断更新。

4. 损失函数中的中间变量：

   • 在计算损失函数时，涉及的中间变量（如预测值和真实值之间的差异）会转换为张量，以便进行后续的梯度计算。

Toy CODE

import torch
import numpy as np
from PIL import Image

# 图像数据示例
image = Image.open('path_to_image.png')
image_tensor = torch.tensor(np.array(image), dtype=torch.float32)
image_tensor = image_tensor.permute(2, 0, 1)  # 将通道维度移到前面

# 文本数据示例
text_data = ["hello", "world"]
# 假设我们已经将文本数据转换为数值表示（如词嵌入或one-hot编码）
text_numerical = [[1, 2, 3], [4, 5, 6]]
text_tensor = torch.tensor(text_numerical, dtype=torch.float32)

# 时间序列数据示例
time_series_data = [[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]]
time_series_tensor = torch.tensor(time_series_data, dtype=torch.float32)

# 分类标签示例
labels = [0, 1, 0, 1]
labels_tensor = torch.tensor(labels, dtype=torch.long)

# 回归标签示例
regression_labels = [0.1, 0.2, 0.3, 0.4]
regression_labels_tensor = torch.tensor(regression_labels, dtype=torch.float32)

# 检查是否有可用的GPU
if torch.cuda.is_available():
    # 将张量移动到GPU
    image_tensor = image_tensor.to('cuda')
    text_tensor = text_tensor.to('cuda')
    time_series_tensor = time_series_tensor.to('cuda')
    labels_tensor = labels_tensor.to('cuda')
    regression_labels_tensor = regression_labels_tensor.to('cuda')

print(image_tensor.shape)
print(text_tensor.shape)
print(time_series_tensor.shape)
print(labels_tensor.shape)
print(regression_labels_tensor.shape)

其他常见的数据类型转换

• 音频数据：通常会从音频文件读取为波形数组，再转换为张量。形状通常为(batch_size, channels, samples)。
• 视频数据：通常会从视频文件读取为一系列图像帧，再转换为张量。形状通常为(batch_size, frames, channels, height, width)。

深度学习中的张量是否会全部自动移动到gpu上？

在PyTorch中，通常需要显式地将张量从CPU移动到GPU上。然而，也可以通过一些设置，使未来创建的张量自动分配到GPU上。

1. 手动将张量移动到GPU

通常的做法是创建张量后手动将其移动到GPU上：

import torch

# 创建张量
tensor = torch.tensor([1, 2, 3])

# 移动到GPU
if torch.cuda.is_available():
    tensor = tensor.to('cuda')

2. 设置默认设备

可以通过上下文管理器将设备设置为GPU，这样在上下文管理器内部创建的所有张量都会自动分配到指定设备上：

import torch

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

# 使用上下文管理器设置默认设备
with torch.cuda.device(device):
    tensor = torch.tensor([1, 2, 3])
    print(tensor.device)  # 输出：cuda:0

3. 创建张量时指定设备

在创建张量时，可以直接指定设备：

import torch

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

# 创建张量时指定设备
tensor = torch.tensor([1, 2, 3], device=device)
print(tensor.device)  # 输出：cuda:0

4. 使用.to()方法

可以在模型定义时使用.to()方法将整个模型移动到GPU上，这样模型的所有参数和缓存都会被移动到GPU上。同时，在创建数据张量时指定设备：

import torch
import torch.nn as nn

# 定义模型
class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.fc = nn.Linear(10, 1)

    def forward(self, x):
        return self.fc(x)

# 实例化模型
model = MyModel()

# 检查是否有可用的GPU并将模型移动到GPU
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = model.to(device)

# 创建张量并移动到同一设备
data = torch.tensor([1.0] * 10).to(device)
output = model(data)
print(output.device)  # 输出：cuda:0

5. 使用 torch.set_default_tensor_type

PyTorch允许设置默认的张量类型，这样所有新创建的张量将自动具有指定的类型和设备：

import torch

# 设置默认张量类型为 CUDA 张量
if torch.cuda.is_available():
    torch.set_default_tensor_type(torch.cuda.FloatTensor)
else:
    torch.set_default_tensor_type(torch.FloatTensor)

# 创建张量，默认会在 CUDA 上
tensor = torch.tensor([1, 2, 3])
print(tensor.device)  # 输出：cuda:0 或者 cpu

Attention：使用这种方法设置默认张量类型会影响所有在此设置之后创建的张量，因此需要谨慎使用，特别是在不同设备之间频繁切换的情况下。