前 言
这几天被谷歌新发布的多模态模型 Gemini 2.0 Flash Experimental 刷屏了,但是效果也是真的牛逼,尤其是在保持主体一致性的图像编辑上,实现了保证主体一致性前提下的一键生图,一句话改图。
不需要复杂的插件辅助,只需要上传一张原图,然后说明我们的需求,就可以一键修图,小白也能直接上手。
真的是相当不错,不过 AI 就是为了普惠普通大众,以后的 AI 也只会越来越智能,操作越来越小白。
好了,话不多说,我们直接开整。
官方体验地址:https://aistudio.google.com/prompts/new_chat,需要魔法哦!
当然我们经常用 ComfyUI 的小伙伴还是希望可以直接集成进 ComfyUI 中的,这不插件就来了嘛!
插件地址:https://github.com/CY-CHENYUE/ComfyUI-Gemini-API
我们先看效果,然后再讲如何安装使用。
插件相对于官网的体验功能稍微简单一些,不支持连续对话,不过基本的编辑图片功能还是正常体验的:
使用很简单,只需要上传图片,然后中文描述我们的需求就可以了,比如这里只改变人物的头发颜色,这个一致性保持的就很好。
把头发改成黑色短发,理解到位,而且这就真的只修改了头发的部分,这一致性效果没得说。
嗯?夸早了?虽然的确是按听雨的要求改成黑色衬衫了,但是我项链呢,咋裤子颜色也变了。不过说到底毕竟是重绘,面积大一点的重绘编辑还是会有误伤。
如果只让闭一只眼睛也还是会把两只眼睛同时闭上。
上一点难度,我们来看下改变姿势以后的人物一致性保持如何,比如让人物拿一杯咖啡。
稍微有一点瑕疵,手环没了,但是整体的效果还是很不错的。
让人物飞起来,这一致性也还是不错的。
还可以直接进行扩图,听雨这里是直接让它上下左右进行扩图了,也可以让它只扩图某一个方向。
也可以直接替换成我们想要的背景,这些效果都还是不错的。
上传衣服,一键生成服装模型。
还可以上传一张产品,然后描述需求生成一张产品效果图。
去除图片水印也是相当不错的。
真实人像的一致性表现也不错!
给图片中人物打光。
总之, Gemini 2.0 可以干很多一致性图像编辑的事情,官网的 Gemini 2.0 还能进行多张图片融合,效果也是很不错的,插件暂时还不支持这个功能,看后续会不会支持了。
然后这个插件在使用的过程中还有一个小问题,如果图像尺寸不是 1024*1024,Gemini 2.0 返回的图片的尺寸不一定是我们节点里设置的尺寸,如果我们直接按节点中的尺寸进行出图,图片会被拉伸。
可以看到出图位置的上边这个小图有明显的拉伸的迹象,下边这个大图是尺寸修复以后的图片。
可以看到两个图片的尺寸,小图是按照我们的给的尺寸出图的:1280768,实际出图尺寸是 1024508。
至于怎么修复这个图像尺寸,因为插件提供了 Gemini 2.0 返回的参数,但是又没有提供获取尺寸的标准接口,所以我们可以通过稍微复杂一点的方法拿到拿到原始的图像尺寸。
通过插件 ComfyUI-Teeth 可以运行 python 脚本的能力,手写了一段正则表达式的代码,获取到原图尺寸,然后再分割为宽和高,再转换为整形然后把错误尺寸的图像进行正确尺寸的缩放就可以了。
具体的工作流在文末可获取哦~
好了,接下来我们来介绍下具体如何使用,直接在 ComfyUI 管理器中搜索插件:ComfyUI-Gemini-API,并进行安装重启。
因为使用的是谷歌 Gemini 2.0 的 API 接口,所以我们还需要去谷歌申请 API key。
申请地址:https://aistudio.google.com/apikey?hl=zh-cn
登录以后,直接点击创建 API 密钥就可以了,创建好以后把密钥复制下来。这里需要用
到魔法哈!
API 现在是可以免费使用的哦,创建就可以用!
然后把密钥复制到节点上,就可以正常使用了,不能正常使用的话可以尝试切换一下魔法节点!
整体体验下来,效果还是很不错的,尤其是在一致性上的表现,虽然还有一些瑕疵,但是瑕不掩瑜。
不想本地体验的小伙伴,文章开头也提供了官网体验地址,记得模型要选对哦!
好了,今天的分享就到这里了,感兴趣的小伙伴快去试试吧!
为了帮助大家更好地掌握 ComfyUI,我花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取