每日AIGC最新进展(41)：上海AI Lab提出新型DiT结构Lumina-Next、Adobe研究院提出图像与文本对齐方法AlignIT、新型多模态图像生成模型MUMU

已于 2024-07-02 15:36:22 修改
阅读量482 收藏 9
点赞数 14
分类专栏： Diffusion Models与深度学习 文章标签： AIGC 人工智能 深度学习 扩散模型 计算机视觉 adobe
于 2024-07-01 08:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/140068624
版权

Diffusion Models专栏文章汇总：入门与实战

Lumina-Next: Making Lumina-T2X Stronger and Faster with Next-DiT

Lumina-Next是一种新型的生成模型，旨在通过改进的Next-DiT架构、上下文外推技术和快速采样技术，解决前身Lumina-T2X在生成质量和效率上的挑战。该模型通过3D RoPE和三明治归一化等技术，提高了图像和视频生成的稳定性和推理速度，并减少了外推伪影。

Lumina-Next引入了几种关键技术改进，包括3D旋转位置嵌入(3D RoPE)以

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沉迷单车的追风少年
关注
  • 14
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
订阅专栏
每日AIGC最新进展(16)：华为诺亚实验室提出通过混合mask信息融合增强文本到图像编辑、腾讯优图实验室提出风格化图像生成算法、清华大学提出扩散模型中的概念域校正和概念保留
沉迷单车的追风少年
05-31 845
以减少编辑过程中的干扰。研究者们创建了一个与目标图像形状一致的中间图像，并利用T2I Adapter等条件生成模型来确保像素间的相关性与理想目标图像一致。在生成目标图像时，MaSaFusion在给定的编辑区域内融合了中间图像的自注意力图，而在区域外则保持源图像的特征不变。这种方法有效地分离了编辑过程中的特征保留和新特征生成，从而减轻了它们之间的干扰。实验结果表明，MaSaFusion在真实世界图像编辑任务中表现出色。
每日AIGC最新进展(5)：卷积神经网络在空间频率域中的对抗性鲁棒性、预训练多模态模型的情感认知合理性、3D Gaussian Splatting在实际应用中的高效渲染
沉迷单车的追风少年
05-20 751
本研究探讨了预训练多模态模型CLIP在识别抽象视觉艺术所引发情感的认知合理性。研究者利用包含与情感标签相关联的图像和人类注释者提供的文字理由的数据集，分析了理由的语言特征，对图像和理由进行了零样本情感分类，并研究了颜色与情感的关联。研究发现CLIP在解码抽象图像和理由中的情感复杂性方面与人类认知过程的对齐程度不高。研究使用了FeelingBlue数据集，该数据集旨在通过视觉元素（如线条、笔触、形状）和语言来审查颜色在语言和艺术中的情感含义。
AIGC Lumina-Next-T2I 中文文生图模型
weixin_42357472的博客
05-20 162
Alpha-VLLM/Lumina-Next-T2I 与 google/gemma-2b 两个模型。demo.py 更改gemma路径。***:7860端口。
2024年AIGC行业研究：多模态大模型与商业应用
Python_cocola的博客
04-10 2339
2024年2月，OpenAI发布其首款视频生成模型Sora，用户仅需输入一段文字即可生成长达一分钟场景切换流畅、细节呈现清晰、情感表达准确的高清视频，与一年前的AI生成视频相比，在各维度均实现了质的提升。这一突破再次将AIGC推向大众视野。AIGC即通过大量数据训练而成的人工智能系统，可根据用户的个性化指令生成文本、音频、图像、代码等内容。自2022年频频出圈的ChatGPT推出以来，生成式AI在游戏、影视、出版、金融、数字人等多个应用场景中展现出巨大潜力和价值。
【AIGC调研系列】AIGC赋能测试用例生成的案例
zachary的博客
03-12 1665
基于功能需求规格说明的测试用例自动生成方法研究表明，传统的测试用例生成方法存在一些局限性，如需要额外的建模成本和缺少测试输入数据等问题[2]。这为AIGC在测试用例生成中的应用提供了背景。AIGC技术，特别是像ChatGPT这样的模型，能够理解和生成自然语言文本，这使得它们能够在没有额外建模成本的情况下，根据功能需求规格说明自动生成测试用例。自动测试生成：一个以用例驱动的方法研究提出了一个从高层面的用例到具体测试案例自动化的解决方案[3]。
每日AIGC最新进展(51)：昆仑万维震撼发布16B DiT-MoE图像生成模型、东北大学提出使用去噪神经权重进行高效训练、美团提出视频扩散模型量化方法
沉迷单车的追风少年
07-18 748
本文介绍了DiT-MoE，一种可扩展的稀疏变分Transformer模型，它在保持与密集网络竞争力的同时，实现了高度优化的推理。通过共享专家路由和专家级平衡损失设计，DiT-MoE捕获了共同知识并减少了不同路由专家之间的冗余。
DIT 文生图transformer模型PixArt-Sigma、HunyuanDiT、Lumina-Next-T2I
weixin_42357472的博客
05-20 291
在线体验网址：https://huggingface.co/spaces/PixArt-alpha/PixArt-Sigma在线体验网址：中文在线体验网址：
每日AIGC最新进展(8)：使用扩散模型进行基于几何的图像编辑、将扩散模型提炼成条件GANs、任意分辨率和时长视频生成的DiT模型、One-Shot 人脸Talk视频生成
沉迷单车的追风少年
05-23 1021
在这份技术报告中，我们介绍了Lumina-T2X系列——一系列基于流的大型扩散变压器(Flag-DiT)，配备了零初始化注意力，作为一个统一的框架，旨在将噪声转换为图像、视频、多视图3D对象和文本指令条件下的音频片段。我们提出了GeoDiffuser，这是一种基于零镜头优化的方法，它将常见的基于2D和3D图像的对象编辑功能统一到一个方法中。我们的无需训练的优化方法使用目标函数，力求保持对象风格，但生成可信的图像，例如具有准确的光照和阴影。我们提出了定量结果，包括一项感性研究，表明我们的方法比现有方法更好。
史上首个实时AI视频生成技术：DiT通用，速度提升10.6倍，Image Textualization 将图像自动文本化，图像描述质量更高、更准确了（附代码地址）
代码讲故事
06-28 258
史上首个实时AI视频生成技术：DiT通用，速度提升10.6倍，Image Textualization 将图像自动文本化，图像描述质量更高、更准确了（附代码地址）。
cracke-dit:cracke-dit（“ Cracked It”）使在Active Directory环境中执行常规密码审核变得更加容易
05-05
破解 ... ... “ London123”，“ Winter2017”，“ Passw0rd”-所有复杂密码，根据默认的组策略规则，可能还取决于您的用户。 ... 安装 需要python 2.7+和pip。... （可选）使用pip install virtualenv && virtualenv ....
每日AIGC最新进展(14)：Adobe提出用于文本到向量生成的神经隐式向量层NIVeL、香港科技大学提出场景图指导增强文本到图像的生成SG-Adapter、南京一步式拖拽图像编辑方法FastDrag
沉迷单车的追风少年
05-29 557
通过感知评估和用户研究，NIVeL在与VectorFusion的比较中显示出优越性，用户研究结果显示NIVeL生成的矢量图形在可信度和与输入文本匹配度方面得到了更多参与者的青睐。此外，作者还探讨了不同的随机种子对结果的影响，展示了SDS优化迭代过程中的输出，并讨论了初始化策略的重要性。实验结果表明，FastDrag是最快的拖拽基础编辑方法，比最快的现有方法（DiffEditor）快了近700%，比典型的基线方法（DragDiffusion）快了2800%，具有可比的编辑性能。重要的是，NIVeL的结果。
每日AIGC最新进展(22)：中国科学院大学提出Zoro-shot视频插帧算法、Adobe研究院提出高效视频扩散模型的叠加网络搜索架构SNED、蚂蚁集团提出视频深度估计算法ChronoDepth
沉迷单车的追风少年
06-08 1005
提出了一种名为ZeroSmooth的无需训练的视频插值方法，用于提高预训练视频扩散模型生成高帧率视频的能力。该方法无需额外训练数据和参数更新，即可实现比训练时高4倍的帧率生成。视频生成技术近年来取得了显著进展，尤其是视频扩散模型的出现，使得许多模型能够生成逼真的合成视频。然而，由于GPU内存限制和建模大帧集的困难，大多数视频模型只能生成低帧率视频。
每日AIGC最新进展(7)：频域引导的超分扩散模型、同时生成自然的说话面孔和语音输出Text-to-Speaking Face、4D全景场景图生成、语义感知的协同语音手势合成
沉迷单车的追风少年
05-22 950
作者还探讨了PSG4DFormer的变种，包括去除时间编码器和深度分支的版本，实验结果强调了深度信息和时间注意力在4D场景图生成任务中的重要性。此外，通过消融研究，验证了系统中各个组件的有效性，如基于LLM的检索模型、手势标记器的架构以及语义感知对齐模块。此外，该框架不需要额外的音频编码器，并且通过联合训练消除了微调过程的需要，从而在生成结果中产生更好的唇部同步。实验结果表明，FDDiff在回归导向和感知导向的度量标准上均优于先前的生成方法，实现了高质量的超分辨率。为了促进这一新领域的研究，
每日AIGC最新进展(3)：基于Diffusion Models的个性化内容生成综述、连续布朗桥的视频插帧算法、文本到图像扩散模型中记忆的实用分析
沉迷单车的追风少年
05-18 578
近年来，文本引导的图像生成技术，特别是基于扩散模型的方法，取得了显著进展。这些技术在商业系统和社区中的应用越来越广泛，如Stable Diffusion、Midjourney、DALL·E 2/3和Imagen等。然而，研究发现这些模型存在对训练图像的过度记忆问题，可能导致版权侵犯和隐私泄露。本文针对文本到图像的扩散模型中的记忆力问题进行了实际分析，旨在量化分析一组受保护的图像，并提出了一种无需收集大量提示的实际分析方法。
文献研读｜AIGC溯源场景及研究进展
Meiling_up
04-03 1553
本文介绍关于AIGC生成阶段针对不同溯源场景的几篇相关工作。
每日AIGC最新进展(12)：在舞蹈视频生成中将节拍与视觉相融合、Text-to-3D综述、通过内容感知形状调整进行 3D 形状增强
沉迷单车的追风少年
05-27 613
定量评估使用了多种指标，包括Fréchet Video Distance (FVD)、结构相似性（SSIM）、峰值信噪比（PSNR）和CLIPScore（CS），以及新引入的2D运动-音乐对齐分数（2D-MM Align），用于评估运动和音乐在二维场景中的同步性。E3SC方法利用基于内容感知的2D图像调整技术，通过精确的3D缝预测和提高计算效率，实现了对3D模型的增强。这一方法突破性地将音乐作为条件输入，用于指导图像到视频的合成过程，从而提高了生成内容的直观性，并消除了对精确关节注释的需求。
2021年各家大厂的AI Lab现状如何？
阿木寺的博客
08-22 678
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达编辑：Amusi | 来源：知乎https://www.zhihu.com/question/476541860本文...
【AIGC】ChatGPT 3.5/4.0 新手使用手册
最新发布
weixin_51306394的博客
09-02 1232
ChatGPT 是一种高级的语言模型，能够生成类似人类的文本。它可以用来编写故事、撰写文章、回答问题、提供建议等。ChatGPT 3.5 和 4.0 版本在语言理解和生成能力上有所提升，使得它更加智能和灵活。
FFT处理器设计：DIT-FFT算法详解与实现
我们将重点介绍DIT-FFT算法，它是基于序列分治策略的一种高效计算离散傅里叶变换（DFT）的方法。 首先，DIT-FFT算法适用于长度为N的序列x(n)，其中N必须是2的幂，即N = 2^M，M为自然数。算法的关键在于将原始序列...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值