Pytorch 手工复现交叉熵损失(Cross Entropy Loss)

如果直接调包的话很简单,例子如下:

import torch
import torch.nn as nn

torch.manual_seed(1234)
ce_loss = nn.CrossEntropyLoss()
x_input = torch.randn(3,3)
y_target = torch.tensor([1,2,0])
print(ce_loss(x_input, y_target))

这里的x_input可以理解为我们的网络预测结果,而y_target为真值,此处例子的结果是0.8526。那么自己做的话,考虑交叉熵的公式如下: L = 1 N ∑ i L i = − 1 N ∑ i ∑ c = 1 M y i c log ⁡ ( p i c ) L=\frac{1}{N} \sum_{i} L_{i}=-\frac{1}{N} \sum_{i} \sum_{c=1}^{M} y_{i c} \log \left(p_{i c}\right) L=N1iLi=N1ic=1Myiclog(pic) 其中 M M M为总类别数, y i c y_{ic} yic为符号函数(只能为0或1), p i c p_{ic} pic为预测得到的概率(即此处的网络预测结果x_input)。

首先为了方便"矩阵运算",我们将y给展平为列向量的形式:

y_target = y_target.view(-1, 1)

对于x,将其做softmax压缩至0-1范围内后再进行log运算:

x_input = F.log_softmax(x_input, 1)

接着,利用pytorch的gather函数,找到各标签y所对应的x:

x_input.gather(1, y_target)

这一步是相对最难理解的。回到公式,考虑到我们已经算完了 log ⁡ ( p i c ) \log (p_{i c}) log(pic),现在要做的也就是找到x_input中各行所对应的独热的值。例如,这里y_target为:

tensor([[1],
        [2],
        [0]])

意思就是对于x的第一行,取第1个值;对于x的第二行,取第2个值;对于x的第三行,取第0个值。因为x为:

tensor([[-1.0207, -0.6645, -2.0784],
        [-1.0184, -1.8474, -0.7315],
        [-1.1617, -0.6996, -1.6595]])

因此取到的结果为:

tensor([[-0.6645],
        [-0.7315],
        [-1.1617]])

这一过程恰好是可以通过torch中的gather方法解决的。

最后求均值得到最终结果:

res = -1 * res
print(res.mean())

可以发现结果也为0.8526,完整代码如下:

import torch
import torch.nn.functional as F

torch.manual_seed(1234)
x_input = torch.randn(3,3)
y_target = torch.tensor([1,2,0])
y_target = y_target.view(-1, 1)
x_input = F.log_softmax(x_input, 1)
res = x_input.gather(1, y_target)
res = -1 * res
print(res.mean())

参考:
https://zhuanlan.zhihu.com/p/98785902
https://www.jianshu.com/p/0c159cdd9c50

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RandLA-Net是一种基于点云数据的深度学习模型,用于点云分割和场景理解。下面是使用PyTorch实现RandLA-Net的简单步骤: 1. 安装依赖库 在Python环境中安装以下库: - PyTorch - NumPy - Open3D - Scikit-learn 其中PyTorch是必须的,其余库是为了可视化和数据预处理。 2. 下载数据集 下载点云数据集,例如S3DIS数据集,该数据集包含了用于建筑物场景的点云数据。可以从官方网站下载数据集。 3. 数据预处理 使用Open3D库读取点云数据并进行预处理。具体来说,可以使用Open3D库将点云数据转换为numpy数组,然后将其分为小的块,以便在GPU上进行训练。 ```python import open3d as o3d import numpy as np import os def load_data(path): pcd = o3d.io.read_point_cloud(path) points = np.asarray(pcd.points) return points def process_data(points, block_size=3.0, stride=1.5): blocks = [] for x in range(0, points.shape[0], stride): for y in range(0, points.shape[1], stride): for z in range(0, points.shape[2], stride): block = points[x:x+block_size, y:y+block_size, z:z+block_size] if block.shape[0] == block_size and block.shape[1] == block_size and block.shape[2] == block_size: blocks.append(block) return np.asarray(blocks) # Example usage points = load_data("data/room1.pcd") blocks = process_data(points) ``` 这将生成大小为3x3x3的块,每个块之间的距离为1.5。 4. 构建模型 RandLA-Net是一个基于点云的分割模型,它使用了局部注意力机制和多层感知器(MLP)。这里给出一个简单的RandLA-Net模型的实现: ```python import torch import torch.nn as nn class RandLANet(nn.Module): def __init__(self, input_channels, num_classes): super(RandLANet, self).__init__() # TODO: Define the model architecture self.conv1 = nn.Conv1d(input_channels, 32, 1) self.conv2 = nn.Conv1d(32, 64, 1) self.conv3 = nn.Conv1d(64, 128, 1) self.conv4 = nn.Conv1d(128, 256, 1) self.conv5 = nn.Conv1d(256, 512, 1) self.mlp1 = nn.Sequential( nn.Linear(512, 256), nn.BatchNorm1d(256), nn.ReLU(), nn.Linear(256, 128), nn.BatchNorm1d(128), nn.ReLU(), nn.Linear(128, num_classes), nn.BatchNorm1d(num_classes) ) def forward(self, x): # TODO: Implement the forward pass x = self.conv1(x) x = self.conv2(x) x = self.conv3(x) x = self.conv4(x) x = self.conv5(x) x = torch.max(x, dim=-1)[0] x = self.mlp1(x) return x ``` 这个模型定义了5个卷积层和一个多层感知器(MLP)。在前向传递过程中,点云数据被送入卷积层,然后通过局部最大池化层进行处理。最后,通过MLP将数据转换为预测的类别。 5. 训练模型 在准备好数据和模型之后,可以使用PyTorch的内置函数训练模型。这里使用交叉熵损失函数和Adam优化器: ```python import torch.optim as optim device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # TODO: Initialize the model model = RandLANet(input_channels=3, num_classes=13).to(device) # TODO: Initialize the optimizer and the loss function optimizer = optim.Adam(model.parameters(), lr=0.001) loss_fn = nn.CrossEntropyLoss() # TODO: Train the model for epoch in range(num_epochs): running_loss = 0.0 for i, batch in enumerate(train_loader): # Move the batch to the GPU batch = batch.to(device) # Zero the gradients optimizer.zero_grad() # Forward pass outputs = model(batch) loss = loss_fn(outputs, batch.labels) # Backward pass and optimization loss.backward() optimizer.step() # Record the loss running_loss += loss.item() # Print the epoch and the loss print('Epoch [%d], Loss: %.4f' % (epoch+1, running_loss / len(train_loader))) ``` 这里使用Adam优化器和交叉熵损失函数进行训练。训练完成后,可以使用预测函数对新数据进行分类: ```python def predict(model, data): with torch.no_grad(): # Move the data to the GPU data = data.to(device) # Make predictions outputs = model(data) _, predicted = torch.max(outputs.data, 1) # Move the predictions back to CPU predicted = predicted.cpu().numpy() return predicted # Example usage data = load_data("data/room2.pcd") data = process_data(data) data = torch.from_numpy(data).float().permute(0, 2, 1) predicted = predict(model, data) ``` 这将返回点云数据的分类预测。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值