如何让生成超高分辨率的图片,一直是文生图领域内研究的热点,目前只有Midjourney能支持生成高清大图,但人家是收费且闭源的。
近期华为诺亚方舟实验室联合香港科技大学开源了支持生成超高像素图文的文生图模型UltraPixel,一举将超高分辨率图像合成推向新高峰!
1、项目介绍
UltraPixel是一种新型图像生成技术,可在 1K 至 6K 分辨率范围内生成高质量图像。它不仅优化了细节处理,还提升了整体图像效果。
它的模型是基于 Stable cascade 进行的训练和微调。
核心技术
· 级联扩散模型:利用低分辨率图像的语义信息指导高分辨率图像生成。
· 隐式神经表示(INR):实现连续上采样,保证不同分辨率间的图像质量一致性。
项目优势
· 高效:低分辨率和高分辨率生成过程共享大部分参数,新增参数不到 3%。
· 智能:通过分析低分辨率信息,精确生成高分辨率细节。
· 资源友好:生成速度快,计算资源需求低。
官网:
https://jingjingrenabc.github.io/ultrapixel/
项目地址:
https://jingjingrenabc.github.io/ultrapixel/
2、项目介绍
直接在 ComfyUI 管理器上搜索:ComfyUI-UltraPixel,然后安装重启就好了。
第一次运行工作流的时候会自动下载模型。也可以手动下载,模型文件已经放在文末的群聊里了,解压以后放在 ComfyUI 的模型目录下就可以了。
工作流也很简单,一个模型加载节点,中间的节点其实参数我们应该也都是熟悉的,我们主要关注提示词和宽高就可以了,最后一个节点就是输出图片了。
我们可以看到中间的节点上还有一个 controlnet_image 节点,没错,ultrapixel 也是支持 ControlNet 的,只不过支持的比较简陋,就支持一种。
虽然生成图片的效果很不错,不过出图真的是有点慢。
4090 生成一张 4096*4096 的图片需要差不多五六分钟的样子,显存占用大概是 16G 左右。
3、效果展示
一键直出的效果,分辨率5120x2560:
A photo-realistic im_00000 (1).jpg
A photo-realistic im_00000 (2).jpg
A photo-realistic im_00000 (3).jpg
A photo-realistic im_00000 (4).jpg
有压缩,实际细节很丰富。
小元老师给大家准备了一套AI绘画基础入门课,完全免费,大家扫码领取即可:
扫码加微信|回复:222
免费领取“AI绘画基础课”