每天一篇论文 326/365 SDNet: Semantically Guided Depth Estimation Network

每天一篇论文汇总list
SDNet: Semantically Guided Depth Estimation Network
摘要

自主车辆和机器人需要对环境有全面的了解才能与之互动。这种感知通常结合了像素级的深度知识和来自视频传感器的每个图像的语义标签。最近基于学习的方法使用两个独立的cnn独立地估计这两种类型的信息。本文提出了一个能同时预测两个输出的模型,与深度和语义的独立估计相比,该模型能提高结果,甚至降低计算成本。我们还通过实验证明CNN能够学习更有意义和语义更丰富的特征。此外,我们的SDNet基于序数分类估计深度。在这两种增强的基础上,我们提出的方法在两个具有挑战性的数据集上实现了单目输入图像的语义分割和深度估计。

方法

该模型基于顺序深度类对深度进行分类,同时为每个像素推断语义标签。这种方法的优点是在编码器的最后一层学习到更多有意义的特征,从而有利于语义分割和深度估计。这使得CNN能够更准确地描述、检测和分类物体。
在这里插入图片描述
与DeepLabv3+不同,我们的解码器由两个子网组成。
首先,解码器对来自ASPP模块的语义有意义的特征映射进行插值,然后将其与来自第二ResBlock的特征映射连接起来。这些特征地图提供了额外的结构信息,能够识别图像中的精细结构。生成的特征映射用作我们两个子网的输入。在第一个子网中,估计语义标签。第二个子网决定深度。两个子网的两个输出层都计算类概率,这是由语义的softmax函数和深度的sigmoid层完成的。
在这里插入图片描述

深度在depth[min,max]

对于有序回归,连续深度必须离散化,使得特定的C类可以被分配到每个深度D。通常,深度D [dmin;dmax ]被线性地划分为最小深度和最大深度之间的类。然而,这种划分的缺点是,与错误估计的大深度相比,在浅深度对深度类的错误估计导致更大的相对估计误差。
在这里插入图片描述
在本文,使用指数函数将反深度分解为离散类ci
在这里插入图片描述

Loss 设置

在这里插入图片描述

结果

深度估计结果
在这里插入图片描述

语义分割个深度估计结合结果

在这里插入图片描述
在这里插入图片描述

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
下面是一个简单的用PyTorch写SD点云深度学习代码的例子: ```python import torch import torch.nn as nn from torch.utils.data import Dataset, DataLoader import numpy as np # 定义数据集 class SDDataset(Dataset): def __init__(self, data_path): self.data = np.load(data_path) def __len__(self): return len(self.data) def __getitem__(self, index): return self.data[index] # 定义模型 class SDNet(nn.Module): def __init__(self): super(SDNet, self).__init__() self.conv1 = nn.Conv2d(1, 16, kernel_size=3, stride=1, padding=1) self.pool1 = nn.MaxPool2d(kernel_size=2, stride=2) self.conv2 = nn.Conv2d(16, 32, kernel_size=3, stride=1, padding=1) self.pool2 = nn.MaxPool2d(kernel_size=2, stride=2) self.conv3 = nn.Conv2d(32, 64, kernel_size=3, stride=1, padding=1) self.pool3 = nn.MaxPool2d(kernel_size=2, stride=2) self.fc1 = nn.Linear(64 * 6 * 6, 512) self.fc2 = nn.Linear(512, 10) def forward(self, x): x = self.conv1(x) x = nn.functional.relu(x) x = self.pool1(x) x = self.conv2(x) x = nn.functional.relu(x) x = self.pool2(x) x = self.conv3(x) x = nn.functional.relu(x) x = self.pool3(x) x = x.view(-1, 64 * 6 * 6) x = nn.functional.relu(self.fc1(x)) x = self.fc2(x) return x # 训练代码 def train(model, train_loader, criterion, optimizer, device): model.train() train_loss = 0 for batch_idx, data in enumerate(train_loader): inputs = data[:, :, :, :3] targets = data[:, :, :, 3] inputs = inputs.to(device) targets = targets.to(device) optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, targets) loss.backward() optimizer.step() train_loss += loss.item() return train_loss / len(train_loader) # 测试代码 def test(model, test_loader, criterion, device): model.eval() test_loss = 0 correct = 0 with torch.no_grad(): for data in test_loader: inputs = data[:, :, :, :3] targets = data[:, :, :, 3] inputs = inputs.to(device) targets = targets.to(device) outputs = model(inputs) test_loss += criterion(outputs, targets).item() preds = outputs.argmax(dim=1) correct += preds.eq(targets.view_as(preds)).sum().item() test_loss /= len(test_loader.dataset) accuracy = correct / len(test_loader.dataset) return test_loss, accuracy # 主函数 def main(): # 设置超参数 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") epochs = 10 batch_size = 64 learning_rate = 0.001 data_path = "sd_data.npy" # 加载数据集 dataset = SDDataset(data_path) train_dataset, test_dataset = torch.utils.data.random_split(dataset, [8000, 2000]) train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True) test_loader = DataLoader(test_dataset, batch_size=batch_size, shuffle=True) # 初始化模型、损失函数和优化器 model = SDNet().to(device) criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) # 训练和测试模型 for epoch in range(1, epochs + 1): train_loss = train(model, train_loader, criterion, optimizer, device) test_loss, accuracy = test(model, test_loader, criterion, device) print("Epoch {}: Train Loss: {:.4f}, Test Loss: {:.4f}, Accuracy: {:.2f}%".format(epoch, train_loss, test_loss, accuracy * 100)) if __name__ == '__main__': main() ``` 上述代码中,我们定义了一个 `SDDataset` 类来加载 SD 点云数据集,定义了一个 `SDNet` 类来实现 SD 点云的深度学习模型。我们使用 PyTorch 自带的 DataLoader 类来加载训练和测试数据集,并使用 Adam 优化器来训练模型。最后,我们使用 `train` 函数来训练模型,使用 `test` 函数来测试模型,并在主函数中执行训练和测试过程。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值