持续关注并分享目标检测、数据生成、视频驱动、跨模态、分割、关键点等领域前沿技术

韩国科学技术院提出的IDM-VTON，可在IDM–VTON使用两个不同模块编码衣服图片语义信息：从视觉编码器中提取的高级语义被融合到cross-attention层、将从并行UNet中提取的底层特征融合到self-attention层。在未见过数据集展示出强大泛化性。

LLaVA，NeurIPS 2023，微软研究院出品，展示一种创建语言-图像指令跟随数据集流程，基于此训练LLaVA，在ScienceQA数据集经过finetune后达到SOTA。

InstructDiffusion，MSRA出品，InstructDiffusion可处理各种视觉任务，包括理解任务（分割、关键点检测）、生成类任务（编辑和增强）

TopNet，CVPR2023，通过transformer结合目标特征及局部背景特征，预测目标尺度及放置位置，超越现有SOTA方法，并且在真实图片具有泛化性。

KOSMOS-G，微软出品，通过文本及图像结合生成图片

Prompt-to-Prompt，google research出品，仅通过prompt，无需mask即可控制进行图像编辑。

InstructPix2Pix，CVPR2023，加利福尼亚大学，伯克利分校出品，通过引导语即可完成图像编辑

DIFFEDIT，2022 Meta出品，利用文本进行图像编辑，性能超越SDEdit。

Stability AI新作，SDXL，与之前Stable Diffusion相比，生成图像质量大幅提升。

AnimateDiff，上海AI实验室出品，可将大多数个性化文生图模型进行视频生成，基于简单设计的运动建模模块，在大量视频数据学习运动先验，插入个性化文生图模型用于生成自然合理的目标域动图。

达摩出品，ONE-PEACE作为一种易扩展的跨模态泛化表征模型，可对齐和集成视觉、语音、语言模态表征，实验结果表明，在多个任务达到前沿效果：图像分类、语义分割、音频-文本检索、音频问答、图文检索、visual grounding。同时具有一定zero-shot检索能力，即使训练集数据模态非成对，也能够对齐模态。

gen1，Runway出品，作者提出基于扩散模型视频生成方法。基于深度估计确保结构一致性，同时利用文本或图片进行内容控制；通过在模型中引入时间连接以及联合图像视频训练确保时间稳定性，通过控制轮次ts控制结构保留度。

DreamBooth，Google Research出品。仅需要3-5张目标图片，通过prompt引导就可生成该目标变体。

作者提出DragGAN，一种交互式基于点的图像编辑方法，可以依据用户输入操纵图像。这归因于两点：a. 隐向量优化模块，将处理点移动至目标点；b. 点跟踪模块准确跟踪处理点轨迹。DragGAN超越现有基于GAN的图像操纵方法，同时开拓新方向，利用生成先验进行图像操纵。

Meta新作，SAM通过point、box、text提示进行万物分割

Grounding DINO在COCO数据集上零样本检测达到52.5AP，在COCO数据集finetune后达到63AP。

LDM，CVPR22022 oral。作者提出的LDM在不降低质量情况下，大幅提升扩散模型训练及采样效率。在多个有条件图像生成领域，不需要特定任务结构基于cross-attention有条件机制即可达到SOTA或接近SOTA效果。

SadTalker CVPR2023，作者利用3DMM运动系数作为中间表征，学习其与视频之间关系。

ControlNet 可以控制大的预训练扩散模型支持额外输入条件，ControlNet端到端的方式学习特定任务条件，即使训练集小（

BLIP-2，基于现有的图像编码器预训练模型，大规模语言模型进行预训练视觉语言模型；BLIP-2通过轻量级两阶段预训练模型Querying Transformer缩小模态之间gap，第一阶段从冻结图像编码器学习视觉语言表征，第二阶段基于冻结语言模型，进行视觉到语言生成学习；BLIP-2在各种视觉-语言模型达到SOTA。比如在zero-shot VQAv2上超越Flamingo80B 8.7%，也证明该模型可以根据自然语言指引进行zero-shot图像到文本生成；

YOLOv6-v3.0，YOLOv6进一步改进，在实时目标检测领域达到SOTA；

YOLOv6在实时目标检测领域取得SOTA性能，超越YOLOX、PP-YOLOE、YOLOv5

BERT NAACL 2019 NLP预训练大模型

CVPR2022 HumanNeRF给出复杂动作人体单视角视频，暂停任一帧渲染出任意视角下该人体，甚至360度视角下该人体；

TIP2022 人体解析SOTA AIParsing

DALLE2，文本引导图像生成，OpenAI出品

图像修复新结构NAFNet，非线性激活函数非必须

本文提出Parsing R-CNN可进行实例级人体分析，在CIHP、MHP v2.0、DensePose-COCO数据集取得SOTA，获得COCO2018挑战赛冠军；

CVPR2022，字节&中山大学，提出wFlow，引入3D信息，达到SOTA效果，尤其在自然场景

CVPR2022 Google Research成果，通过一张RGB图片完成人体三维重建，并且带有颜色信息

SCHP自纠正人体解析算法，CVPR2019 LIP挑战赛第一名

CLIP利用自然语言监督视觉进行预训练，迁移至下游任务取得不错效果，实现文本图像至今跨模态；

本文提出无监督TPS Motion取得SOTA，1、提出thin-plate spline（TPS）运动估计，以生成更灵活光流，将源图特征迁移至目标图特征；2、为了补全缺失区域，使用多分辨率遮挡mask进行有效特征融合。3、额外辅助损失函数用于确保网络各模块分工，使得生成高质量图片；...

few-shot vid2vid，通过基于样例图片的动态生成权重机制，提升视频生成泛化能力。

video-to-video视频生成，可输入sketch，mask，pose。

DaGAN用于会讲话的人头视频生成

SVTR 基于transformer文本识别算法，SVTR-L在英文及中文识别上速度快的同时accuracy高。

PP-YOLOE基于之前PP-YOLOv2进行优化，使用anchor-free算法，更强的backbone及neck。配备了CSPRepResStage、ET-head和动态标签分配算法TAL；PP-YOLOE-l在COCO数据集上，Tesla V100上达到51.4mAP，78.1FPS；超越PP-YOLOv2及YOLOX；...

SMPL，准确表示各种体态、各种自然姿势人体；

DiOr按照穿衣顺序进行着装；