pytorch 图像分割的交并比_PyTorch3D：面向3D计算机视觉的PyTorch工具箱

PyTorch3D通过PyTorch为3D计算机视觉研究提供高效，可重复使用的组件。目前已基于此开发了：Mesh R-CNN、SynSin等模型。

Accelerating 3D Deep Learning with PyTorch3D

文档：Welcome to PyTorch3D’s documentation!
项目链接：facebookresearch/pytorch3d
论文： https:// arxiv.org/abs/2007.0850 1

注：如果上述论文链接无法访问或者下载速度过慢，可以看文末，已上传至百度云，方便下载

PyTorch3D

主要功能包括：

• 用于存储和操作 triangle meshes的数据结构
• 在 triangle meshes上的有效操作（投影变换，图卷积，采样，损失函数）
• 可微的mesh渲染器

PyTorch3D旨在与深度学习方法稳定集成，以预测和处理3D数据。 因此，PyTorch3D中的所有运算符：

• 使用PyTorch张量实现
• 可以处理小批量的异构数据
• 可以differentiated
• 可以利用GPU进行加速

深度学习已大大改善了2D图像识别。扩展到3D可能会推动许多新应用的发展，包括自动驾驶汽车，虚拟现实和增强现实，创作3D内容，甚至改善2D识别。然而，尽管兴趣日益浓厚，但3D深度学习仍相对未得到充分开发。我们认为，这种差异是由于3D深度学习所涉及的工程挑战所致，例如有效处理异构数据和将图形操作重构为可微的。

我们通过引入PyTorch3D来应对这些挑战，PyTorch3D是一个用于3D深度学习的模块化，高效且可微的运算符库。它包括一个用于网格和点云的快速，模块化，可微的渲染器，支持按合成进行分析的方法。

与其他可微的渲染器相比，PyTorch3D更具模块化和效率，允许用户更轻松地扩展它，同时还可以优雅地缩放到较大的网格和图像。我们将PyTorch3D运算符和渲染器与其他实现进行了比较，并展示了显著的速度和内存改进。我们还使用PyTorch3D改进了ShapeNet上2D图像的无监督3D网格和点云预测的最新技术。

PyTorch3D是开源的，我们希望它将有助于加速3D深度学习的研究。

实验结果

下载

链接： https:// pan.baidu.com/s/1aHSGZs fM7UWTcfBoLl1TcQ
提取码：efba

强烈推荐大家关注计算机视觉论文速递知乎专栏和CVer微信公众号，可以快速了解到最新优质的CV论文。

推荐阅读

使用深度神经网络从Noisy Labels中学习：全面调研

Facebook发布FAIRScale：用于高性能和大规模训练的PyTorch工具

ECCV 2020 | 53.5 AP！PAA：用于目标检测的IoU预测的概率Anchor分配

ECCV 2020 | 即插即用！PSConv：将特征金字塔压缩到紧凑的多尺度卷积层中

ECCV 2020 | 通过聚类无标签数据来提高人脸识别能力

52.1 AP！MSRA&北大提出RepPoints V2：用于目标检测的验证+回归

AdaptiveReID：用于行人重识别的自适应L2正则化

ECCV 2020 | LibraNet：通过强化学习对人群进行序列化计数

牛津大学VGG组提出D2D：学习用于图像匹配的良好对应关系

CenterNet3D：用于自动驾驶的Anchor-free 3D目标检测器

华南理工大学提出AQD：面向准确的量化目标检测

MS-NAS：用于医学图像分割的多尺度神经网络架构搜索

京东AI提出：用于人脸识别的损失函数搜索

增强注意力！DCANet：学习卷积神经网络的连接注意力

RarePlanes：最大的真实/合成的飞机检测和分类数据集

GBDT与NAS强强联手！中科大&MSRA提出GBDT-NAS：使用GBDT进行神经网络架构搜索