TPAMI 2024 | HexNet: 面向全向输入的定向感知深度学习框架

于 2024-10-06 09:30:00 发布
阅读量2 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： 深度学习 人工智能 TPAMI IEEE 顶刊论文 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/141828880
版权
论文解读 IEEE TPAMI 专栏收录该内容
238 篇文章 15 订阅 ¥49.90 ¥99.00
订阅专栏

题目：HexNet: An Orientation-Aware Deep Learning Framework for Omni-Directional Input

HexNet: 面向全向输入的定向感知深度学习框架

作者：Chao Zhang; Stephan Liwicki; Sen He; William Smith; Roberto Cipolla

摘要

尽管全向传感器提供了全面的表示，但典型的深度学习框架通过将球面数据作为平面输入引入失真和不连续性，从而减少了这些好处。另一方面，最近的球面卷积神经网络（CNN）通常需要大量的内存和参数，因此只能在非常低的分辨率和浅层架构下执行。我们提出了HexNet，这是一个用于球面信号的方位感知深度学习框架，它通过利用标准平面网络操作对球体的有效排列投影进行快速计算。此外，我们为部分球体引入了基于图的版本，使我们能够在高分辨率下与使用残差网络架构的平面CNN竞争。我们的核在球体的切线上操作，因此可以在透视数据上预训练的标准特征权重可以转移，使得在ImageNet上进行球面预训练成为可能。由于我们的设计没有失真和不连续性，我们方位感知的CNN成

了解本专栏 订阅专栏 解锁全文
小白学视觉
关注
专栏目录
订阅专栏
TPAMI 2024| BadLabel：评估与增强标签噪声学习的一种鲁棒视角
小白学视觉
07-15 674
标签噪声学习（Label-noise learning, LNL）旨在提高模型在训练数据带有噪声标签的情况下的泛化能力。为了促进实用的LNL算法的发展，研究人员提出了不同类型的标签噪声，从类条件噪声到实例依赖噪声不等。在本文中，我们引入了一种新型的标签噪声类型，称为BadLabel，它可以通过大幅度降低现有LNL算法的性能来显著影响它们。BadLabel是基于标准分类的标签翻转攻击精心设计的，其中选择特定样本并将它们的标签翻转为其他标签，以便干净标签和噪声标签的损失值无法区分。
TPAMI 2024 | 正则化损失与超参数估计在弱监督单类分割中的应用
小白学视觉
07-18 1031
Regularized Loss With Hyperparameter Estimation for Weakly Supervised Single Class Segmentation 正则化损失与超参数估计在弱监督单类分割中的应用 作者：Zongliang Ji; Olga Veksler 摘要 我们提出了一种新的图像级弱监督分割方法，适用于只含有单一感兴趣对象类别的数据集。我们的方法基于经典条件随机场（CRF）建模启发的正则化损失函数。我们的损失模型了通用对象的属性，并用它引导CNN朝向更可能对
TPAMI 2024 | Diversify：一种时间序列分布外检测和泛化的通用框架
小白学视觉
07-29 1131
题目：Diversify: A General Framework for Time Series Out-of-Distribution Detection and Generalization Diversify：一种时间序列分布外检测和泛化的通用框架 作者：W. Lu; J. Wang; X. Sun; Y. Chen; X. Ji; Q. Yang; X. Xie 摘要 时间序列仍然是机器学习研究中最具挑战性的模态之一。时间序列的分布外（OOD）检测和泛化常常由于其非平稳性质而面临困难，即分布随时
TPAMI 2024 | P2T：用于场景理解的金字塔池化Transformer
小白学视觉
08-19 581
最近，视觉Transformer通过推动各种视觉任务的最前沿取得了巨大成功。视觉Transformer面临的最大挑战之一是图像标记的大序列长度导致高计算成本（二次复杂度）。解决这个问题的一个流行方法是使用单个池化操作来减少序列长度。本文考虑了如何改进现有的视觉Transformer，其中通过单个池化操作提取的池化特征似乎不够强大。为此，我们注意到金字塔池化由于其在上下文抽象方面的强能力，在各种视觉任务中已被证明是有效的。然而，金字塔池化尚未在主干网络设计中被探索。
TPAMI 2024 | 全新框架！深度学习可解释度量学习！
07-30 594
在本文中，我们提出了一种新的框架，名为DIML，以实现更可解释的深度度量学习。与传统的深度度量学习方法仅给出两张图像之间的全局相似性不同，DIML通过多个局部部分相似性的加权和来计算整体相似性，使人类更容易理解模型区分两张图像的机制。具体而言，我们提出了一种结构匹配策略，通过计算两张图像的特征图之间的最优匹配流，显式地对齐空间embedding。我们还设计了一种多尺度匹配策略，它考虑了全局和局部相似性，并可以显著降低图像检索应用中的计算成本。
TPAMI 2024 | 单目深度估计：全面综述
小白学视觉
07-24 989
在计算机视觉领域，对二维图像中深度的估计是一个具有挑战性的主题。这是一个长期被深入研究且定义不明确的问题，一直是密集研究的焦点。本文是对这一主题的深入回顾，呈现了两个方面：一方面考虑人类深度感知的机制，另一方面包括各种深度学习方法。这些方法以紧凑和结构化的方式呈现，概述了主题，并根据近十年的研究线索对方法进行了分类。尽管在这一主题上取得了显著进展，但似乎没有任何与人类深度感知及其潜在益处的联系。
TPAMI 2024 | 人体运动生成：一项综述研究
小白学视觉
07-31 977
人类动作生成旨在生成自然的人姿势序列，并展示出对现实世界应用的巨大潜力。近年来，在运动数据收集技术和生成方法方面取得了实质性进展，为人类动作生成日益增长的兴趣奠定了基础。该领域的大多数研究侧重于基于条件信号生成人类动作，例如文本、音频和场景上下文。尽管近年来取得了显著进展，但由于人类动作的复杂性质及其与条件信号的隐式关系，该任务仍然面临挑战。在这篇综述中，我们提供了人类动作生成的综合文献回顾，据我们所知，这是该领域首次此类综述。
TPAMI 2024 | FGAHOI：用于人体-物体交互检测的细粒度锚点
小白学视觉
07-30 938
人类-对象交互（HOI）作为计算机视觉中的一个重要问题，需要定位人-对象对并识别它们之间的交互关系。与单个对象实例相比，HOI实例在空间、尺度和任务上具有更大的跨度，使其检测更容易受到嘈杂背景的干扰。为了减轻嘈杂背景对HOI检测的干扰，有必要考虑输入图像信息以生成细粒度锚点，然后利用这些锚点指导检测HOI实例。然而，存在以下挑战：i) 如何从包含复杂背景信息的图像中提取关键特征仍然是一个开放性问题。ii) 如何在语义上对齐提取的特征和查询嵌入也是一个难题。
TPAMI 2024 | 基于GPR和模型空间学习的地下诊断
小白学视觉
07-01 933
地面穿透雷达（GPR）已广泛应用于管道检测和地下诊断。在实际应用中，通常在完全分析获得的GPR数据之前，很少了解被检测区域的GPR数据特征和可能存在的地下异常结构，这导致了自动识别地下结构或异常的挑战。在本文中，提出了一种基于模型空间学习的GPR B扫描图像诊断方法。模型空间学习的思想是使用在数据部分拟合的模型作为数据更稳定和更简洁的表示。对于GPR图像，提出了2方向回声状态网络（2D-ESN），通过下一项预测拟合图像段。
TPAMI 2024 | CrossFormer++: 基于跨尺度注意力的多功能视觉Transformer
小白学视觉
07-05 1284
虽然不同尺度的特征在视觉输入中具有感知重要性，但现有的视觉Transformer尚未显式利用这些特征。为此，我们首先提出了一种跨尺度视觉Transformer，即CrossFormer。它引入了跨尺度嵌入层（CEL）和长短距离注意力（LSDA）。一方面，CEL将每个标记与不同尺度的多个补丁混合，为自注意力模块本身提供跨尺度特征。另一方面，LSDA将自注意力模块分为短距离和长距离部分，这不仅减少了计算负担，还保留了标记中的小尺度和大尺度特征。
TPAMI 2024 | AIfES：下一代边缘AI框架
小白学视觉
07-26 80
边缘人工智能（AI）依赖于将机器学习（ML）集成到最小的嵌入式设备中，从而在图像或语音处理等实际应用中实现本地智能。传统的边缘AI框架缺乏跟上当前和未来ML创新所需的重要方面。这些方面包括针对目标硬件的灵活性低以及对定制硬件加速器集成的支持有限。嵌入式系统人工智能框架（AIfES）的目标是克服传统边缘AI框架面临的这些挑战。在本文中，我们详细介绍了AIfES的架构和应用的设计原则。
TPAMI 2024 | PathNet: 基于路径选择的点云去噪
小白学视觉
07-29 622
当前的点云去噪(PCD)模型优化单一网络，试图使其参数适应于大量点云池中的每个点。这种去噪网络范式忽略了不同点通常受到不同程度的噪声干扰，并且它们可能传达不同的几何结构。因此，噪声和几何的复杂性带来了包括残留噪声、错误平滑的边缘和去噪后形状扭曲等副作用。我们提出了PathNet，一种基于强化学习(RL)的路径选择性PCD范式。与现有工作不同，PathNet能够动态选择每个点最合适的去噪路径，最佳地将其移动到其底层表面上。除了首次提出路径选择性PCD框架外，我们还有另外两个贡献。
TPAMI 2024 | ASP: 学习一个通用的神经求解器！
小白学视觉
07-17 140
将机器学习应用于组合优化问题有潜力提高效率和准确性。然而，现有的基于学习的求解器在面对问题分布和规模变化时通常难以泛化。在本文中，我们提出了一种新方法，称为ASP：自适应阶梯策略空间响应神谕（Adaptive Staircase Policy Space Response Oracle），以解决这些泛化问题，并学习一个通用的神经求解器。ASP由两个组成部分构成：分布探索（Distributional Exploration），它使用策略空间响应神谕增强求解器处理未知分布的能力；
TPAMI 2024 | SMEMO：用于轨迹预测的社会记忆
小白学视觉
07-25 92
在预测未来轨迹等行为时，有效建模人类互动至关重要。每个人的运动都会影响周围人，因为每个人都遵循诸如避免碰撞或群体跟随等非书面的社会规则。在本文中，我们通过算法视角，即将问题视为数据操作任务，来模拟这些随时间不断演变的互动。我们提出了一种基于端到端可训练工作记忆的神经网络，它作为外部存储，可以连续地写入、更新和回忆有关每个代理的信息。我们展示了我们的方法能够学习不同代理运动之间的可解释的因果关系，并且在多个轨迹预测数据集上获得了最先进的结果。给定一个社会环境Sxii0N−1Sxi​i。
深度学习·wandb
2301_80132162的博客
10-01 405
一个好用的可视化训练过程和调参工具，建议在深度学习中使用，语法来说更加方便。
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
阿利同学的博客
10-04 774
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
深度学习：DCGAN
Landy_Jay的博客
10-01 462
CDGAN（Deep Convolutional Generative Adversarial Networks），是GAN（Generative Adversarial Networks）的一种变体，它特别使用了卷积神经网络（CNNs）作为生成器和判别器的构建模块。DCGAN使用全卷积网络结构代替传统的池化层和全连接层。在生成器中采用转置卷积（也称为分数步长卷积或反卷积）来逐步增加图像的空间维度。在判别器中使用卷积层来逐步减少空间维度并提取特征。
国创——基于分离表示的人脸图像生成技术
2301_80073593的博客
10-01 980
根据用户的个性化需求，对分离得到的形状和纹理表示进行调整。- 在DFGA框架的几何形状生成模块中，根据输入数据（可能是经过预处理的图像特征等），使用特定的算法或模型生成人脸的几何形状。- 分离表示旨在将人脸图像分解为不同的组件，如几何形状（面部结构）、皮肤纹理（颜色、细节等）等表示形式。- 将生成的几何形状和皮肤纹理进行融合，得到最终的个性化人脸图像或者视频帧（如果是从视频序列输入）。- 定义DFGA框架中的各个模块，如数据加载模块、几何形状生成模块、皮肤纹理生成模块、融合模块等。
【深度学习】— 多层感知机介绍、 隐藏层、从线性到非线性、线性模型的局限性
最新发布
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-05 464
在第 3 节中，我们介绍了 softmax 回归，并实现了其从零开始的实现和基于高级 API 的实现，训练了分类器来识别 10 类服装图像。这种网络共有 2 层，每层都是全连接的，每个输入都会影响隐藏层中的每个神经元，而隐藏层中的每个神经元又会影响输出层中的每个神经元。最简单的方法是堆叠多个全连接层，每一层的输出作为下一层的输入，最终生成输出。线性模型假设输入特征与输出之间的关系是单调的，例如收入增加会增加偿还贷款的概率，但这种关系不是线性的。个隐藏单元的单隐藏层多层感知机（MLP），隐藏层的输出可以用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值