公众号内容拓展学习笔记(2022.7.5)
📎 今日要点
-
港科大&MSRA:图像到图像转换,Finetuning is all you need ⭐️⭐️
- Abstract: 港科大&MSRA:图像到图像转换,Finetuning is all you need
- Paper: Pretraining is All You Need for Image-to-Image Translation
- Tips: 研究者将每个图像到图像的转换问题视为下游任务,并引入了一个简单通用框架,该框架采用预训练的扩散模型来适应各种图像到图像的转换。他们将提出的预训练图像到图像转换模型称为 PITI(pretraining-based image-to-image translation)。此外,研究者还提出用对抗训练来增强扩散模型训练中的纹理合成,并与归一化指导采样结合以提升生成质量。
-
屠榜多目标跟踪!BoT-SORT:稳健的关联多行人跟踪 ⭐️⭐️
- Abstract: 屠榜多目标跟踪!BoT-SORT:稳健的关联多行人跟踪
- Paper: BoT-SORT: Robust Associations Multi-Pedestrian Tracking
- Code: https://github.com/NirAharon/BOT-SORT
- Tips: 在本文中提出了一种新的鲁棒跟踪器,它可以结合运动和外观信息的优点,以及相机运动补偿和更准确的卡尔曼滤波器状态向量。
-
- Abstract: ScePT: 为规划的场景一致和基于策略轨迹预测
- Paper: ScePT: Scene-consistent, Policy-based Trajectory Predictions for Planning
- Code: https://github.com/nvr-avg/ScePT
- Tips: 这项工作提出基于策略规划的轨迹预测模型ScePT,该模型可以生成适用于自主系统运动规划、精确、场景一致的轨迹预测。其明确地强制场景一致性,并学习可用于制约预测的智体交互策略。在多个真实行人和自主车辆数据集上的实验表明,ScePT匹配当前最先进的预测精度,并显著提高场景一致性。
-
CVPR 2022 | 复旦大学提出ZITS:基于Transformer结构增强的增量式图像修复 ⭐️⭐️
- Abstract: 复旦大学提出ZITS:基于Transformer结构增强的增量式图像修复
- Paper: Incremental Transformer Structure Enhanced Image Inpainting with Masking Positional Encoding
- Code: https://github.com/DQiaole/ZITS_inpainting
- Tips: 作者利用了一个基于Transformer的模型推断整体结构(边缘+线框)。利用简单的CNN,我们可以把这种结构图非常轻松的上采样到任意分辨率。进一步地,我们提出了利用零初始化残差连接技术增量式地将结构注入到后续CNN纹理修复网络。
-
【源头活水】CVPR 2022 | 大幅减少零样本学习所需的人工标注,马普所和北邮提出富含视觉信息的类别语义嵌入 ⭐️⭐️
- Abstract: 大幅减少零样本学习所需的人工标注,马普所和北邮提出富含视觉信息的类别语义嵌入
- Paper: VGSE: Visually-Grounded Semantic Embeddings for Zero-Shot Learning
- Code: https://github.com/wenjiaXu/VGSE
- Tips: 为减少零样本学习所需的人工标注,提高类别嵌入的语义和视觉完备性,本文提出一个自动的类别嵌入发掘网络 VSGE 模型,能够利用图像切片的视觉相似性发掘类别嵌入。
-
SIGGRAPH 2022|通过步态就能识别身体疾病,好神奇 ⭐️⭐️
- Abstract: 通过步态就能识别身体疾病,好神奇
- Paper: Generative GaitNet
- Tips: 本文提出了生成式GaitNet,这是一种基于深度强化学习控制一个包含304条hill型肌肉肌腱的全面的全身肌肉骨骼模型。生成式GaitNet是一个预先训练的,在618-dimensional连续学习的人工神经网络的集成系统解剖学状况(例如,质量分布、身体比例、骨骼畸形和肌肉缺陷)和步态状况(如步幅和节奏)。