超级会员免费看
微软亚洲研究院与北京大学合作的DragNUWA模型，结合文本、图像和轨迹信息，实现对视频内容的细粒度控制。该模型通过轨迹采样器、多尺度融合和自适应训练策略，处理开放域视频，支持复杂轨迹、多个对象运动和相机运动的控制。实验显示DragNUWA在视频生成的细粒度控制方面表现出优越性能。
微软 NÜWA 系列主要功能及发布时间如下：
- 22年11月，微软亚洲研究院、北京大学联合提出同时覆盖语言、图像和视频的统一多模态生成模型女娲NÜWA，直接包揽草图转图像、图像补全、视频预测、文字指导修改视频等8项SOTA。
- 23年3月，微软亚洲研究院发布多模态新模型NUWA-XL，可直接生成11分钟长动画。
- 23年8月，微软亚洲研究院联合北大、中科院提出了一种基于开放域的新型视频生成模型DragNUWA。
生成视频时，主要关注两种运动，即摄像机和对象运动。DragNUWA同时引入simultaneously introduce文本、图像和轨迹信息三种控制因素，使得模型能够同时控制摄像机运动camera movements、多个对象移动object motions以及复杂轨迹complex trajectories，从语义、空间和时间层面对视频内容实现细粒度控制，从而生成具有真实世界场景和艺术绘画特色的视频。
您只要在图上Drag给出运动轨迹，DragNUWA就能让图像中的物体对象按照该轨迹移动位置生成一致连贯的视频！！！
订阅专栏 解锁全文
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
