开发者朋友们大家好:
这里是 「RTE 开发者日报」 ,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE(Real-Time Engagement) 领域内「有话题的 新闻 」、「有态度的 观点 」、「有意思的 数据 」、「有思考的 文章 」、「有看点的 会议 」,但内容仅代表编辑的个人观点,欢迎大家留言、跟帖、讨论。
本期编辑:@JLT,@鲍勃
01有话题的新闻
1、阿里团队推出视频 AI 生成框架 Tora:画圈操控物体运动轨迹
阿里团队最新推出了 AI 视频生成框架 Tora,同时集成了文本、视觉和轨迹条件用于生成视频,是基于轨迹导向的扩散变换器(DiT)技术。
Tora 由一个轨迹提取器(TE)、一个时空 DiT 和一个运动引导融合器(MGF)组成:
TE 使用 3D 视频压缩网络将任意轨迹编码为分层时空运动补丁。
MGF 将运动贴片集成到 DiT 模块中,以生成遵循轨迹的连贯视频。
Tora 无缝契合 DiT 设