我们都知道,哈利波特对着伏地魔挥舞魔杖的时候,嘴里念“阿瓦达啃大瓜”和“Lumos”显然会是两个完全不同的结果。
霍格沃兹的第一课,显然是教大家怎么念咒语。
如今咱们也有咒语,比如“中国风”“双马尾”“赛博朋克”“蓝发”“碧瞳”“海边”“坐姿”“年会”“职场”…
指挥Chatgpt等等一切大模型帮你干活的关键,就是这些被称作提示词(prompt)的咒语。
然而这些咒语对于我们麻瓜来说还是太难了,尤其在用AI绘画的过程中。
绝大多数AI生图模型在训练的时候侧重的是文本和图形之间的关联,并不擅长语义分析和复杂元素处理。
所以有时候会出现一些它觉得合情合理,我们看起来十分离谱的场景。
比如之前热议的AI美少女无法用正确姿势吃面事件。
来源:网络
这一是因为模型不知道吃拉面要用筷子这个常识,二是因为模型里没有足够的“手拿筷子吃拉面”样本图可以参考。
最关键的则是,咱们在要求模型生图的时候,没有详细描述 “美少女用哪只手的哪几个手指怎么拿着筷子吃拉面” 的场景。
为了实现完美生图,饱含智慧的前辈们总结出了一系列念咒大法,包括但不限于——
提示词分类(分别描述人物、服饰、场景等元素)、使用负面提示词(描述不希望图片中出现的内容)、垫图(给模型提供参考图链接)、加参数(规定生成图片的比例、随机种子、迭代次数…)等等。
来源:眈眈探求
所以现在画张图,从原来的动手,变成了和大模型勾心斗角。
来源:优设网
想要要把心中的二次元老婆变成电脑屏幕上的像素点,念给模型的咒语里要有她的:参考图、容貌描述、衣着描述、肢体动作、场景描述、艺术风格、镜头参数…
单是这几个类别的prompt叠加就能衍生出无限可能。
更别说生图模型一般一次不会只出一张图,而是会给出4-6张图片让你选。
来源:眈眈探求
近乎无限的prompt组合尝试,加上乱花渐欲迷人眼的选图,很容易让人不小心拿出抽卡的劲头跟模型死磕到天明。
这种接近穷举法的方式搞创作也不是不行,但问题就是这不光浪费时间,甚至还浪费钱。
AI绘图届的天花板Midjourney采用订阅制付费,最便宜的10美元计划可用3.3小时快速生成时间,大约能生成200张图。
200张图不够用怎么办?接下来再用就是每小时4美元。
Stable Diffusion(SD)则是可以在本地运行的AI绘图模型,投入只需要一张显卡,国外网友测试了各类显卡的生图效率。
可以看到官方定价1600美元的英伟达RTX 4090,在512分辨率下生图效率可达75张/分钟,虽然快但是贵且买不到。
价格亲民些的显卡平均生图大概在20张/分钟左右。
假设抽卡生图200张,要么交10美元给Midjourney,要么先花2000多人民币买张显卡,然后再自己跟着网上的教程一步步部署SD,最后再花个10分钟去生图。
无论是付费订阅还是买显卡自己部署,想让沉没成本不沉没,咒语质量是关键。
咒语不到位不仅美少女会用手直接抓起滚烫的拉面往嘴里塞,还会出现这些人类驯服AI失败的名场面。
来源:网络
所以念咒教育产业应运而生,谁能念出高质量的咒语,就能驯服AI为自己所用。
用爱发电的教程就不说了,网上一搜一大把。
来源:B站
AI绘图把传统画师的饭碗端起来送到了魔法师手里,然而这个饭碗在魔法师手里还没捂热,现在又有人要把它收走了。
字节跳动近期联合中山大学,推出了一个专门帮你写咒语和选绘画模型的AI绘图框架:DiffusionGPT。
简单来说,它就是想让一个不会念咒的人,随便说两个字就能得到最满意的结果。
有了这一框架,哈利波特对着伏地魔高喊一声“去死吧!”随即索命咒钻心咒夺魂咒就开始自动轮番伺候,不死不休。
言归正传,先看看实际效果图,下面四宫格生图都使用了同一个prompt,上面两张是SD直接画的,下面两张是用DiffusionGPT生成的。
prompt:创作一幅插画,描绘一对浪漫的情侣在星空下分享温柔时刻的场景
prompt:如果我能跟动物交流,我会站在楼顶和鹰说说话
prompt:来,让我们一起去一个白雪皑皑的童话世界,那里有孩子们堆雪人和打雪仗
SD还是颇有人工智障余风,只抓住了局部关键词,而DiffusionGPT无论是从立意、构图、风格选择上来说都完胜。
DiffusionGPT不依赖高质量咒语就能生出高质量图是怎么实现的?主要靠以下两点:
1. 用ChatGPT作为认知引擎,弥补了绘画模型没有脑子的短板,可以分析原始prompt并进行优化;
2. 连接各开源社区的绘画模型,自动根据prompt内容匹配符合其主题和风格的最佳模型。
再说直白点,它会根据你提供的提示词,自动脑补出咒语大师们会怎么写出更清晰的提示词。
接下来详细看看它是怎么用4步做到的。
第一步,还是从用户给的prompt入手。
比如输入的prompt是:“生成一张正在笑的女人的照片,时尚杂志封面”。
DiffusionGPT会把这个prompt分到“指示”类别,然后提取出“带笑容的女人照片,杂志封面”几个关键短语。
接下来关键词会进入DiffusionGPT的模型思维树(Tree-of-thought of Models)中。
模型思维树收录了开源社区(如:Hugging Face、Civi- tai)中大家贡献的定制化绘图模型,而且这个名录还可以根据社区新上架的模型自动更新。
虽然用风格关键词一定程度上也能控制生图的风格,但是如果模型训练时就没有相关的样本图,它也没办法无中生有。
开源社区中的定制化模型往往从样本图入手,针对某种画风、场景进行了特别的优化。
有网友用同一个描述艾莎女王的prompt在不同的模型上进行测试,发现这个画风差距还蛮大的,而差异就源自不同模型用了不同的样本图。
来源:reddit
根据第一步得到的关键词“带笑容的女人照片,杂志封面”,DiffusionGPT的模型思维树会匹配到真实照片、电影级别大片这类模型标签,然后标签下搜索相关的模型。
然后找到像FilmVelvia2(用于生成胶片风格AI写真照片)、CineStyle5(用于生成带有故事性的电影图片)这类擅长真人写实风格的模型。
那事到如今到底选择哪个模型来生图呢?团队在这里引进了人类反馈机制。
他们有一个记录了人类评分的prompt数据库,里面包含了10000条prompt、它们对应的生成图片以及人类对生成结果的打分。
当DiffusionGPT的模型思维树需要在搜索出来的相关模型中做出最后选择时,会把当前的关键词“带笑容的女人照片,杂志封面”跟数据中的prompt进行匹配。
把匹配到的几个高分图的模型名称找出来,然后根据这个列表选择最终这次生图要用的模型。
模型选好了,但是还没结束,最后一步还有个prompt优化。
DiffusionGPT会结合关键词的上下文以及prompt示例,生成一个带有画面细节描述和提质专用词汇的新prompt。
于是关键词**“带笑容的女人照片,杂志封面”**最后就变成了:
“杂志封面上的女人笑得非常开心,眼睛里充满了喜悦。她穿着时髦的服装,凸显了她的曲线,头发也梳得恰到好处,衬托出她的容貌。”
论文里还提供了两个prompt优化的例子,看得出来优化后的prompt生成图片的效果确实好了不止一点点。
原prompt:一个没有车的十字路口
优化prompt:城市的十字路口诡异地安静,到处都看不到车辆。交通的缺失营造出一种超现实的氛围,路灯的照明投下长长的阴影,照亮了空荡荡的街道。
原prompt:老人和船
优化prompt:一位老船夫正悠然地荡着小船,碧波如镜的湖面在他的周围静静铺展。他戴着一顶破旧的草帽,身上披着风吹日晒的旧夹克,双手随意地放在船桨上。夕阳西沉,天边泛起一片暖橙色的霞光。虽然小船历经风霜,早已斑驳陈旧,却依旧稳健地承载着老船夫。他神情恬静,一脸岁月静好的安详。
DiffusionGPT是个特别适合被GPT5纳入官方技能包的功能,不知道Sam会不会翻到字节这篇论文。
集成到官方难度不大,而且还能在生图领域分一杯羹。
毕竟它的解析、推理、决策、优化prompt能力都是ChatGPT给的,剩下的只有联网(去开源社区搜索模型)和人类反馈(生图喜好评分标准)。
等于是用大语言模型给开源生图模型做了个搜索引擎+prompt优化,把生图的流程串联起来,提供了傻瓜式一条龙服务。
接下来就看是字节先产品化,还是GPTs里先有李鬼,还是官方直接来收编了。
不过参照网友总结的这张AI绘图选择树,DiffusionGPT面向的人群应该还是想尝鲜和懒得折腾的技术小白。
主打把一个简单的点子变成一张看起来还不错的图,提供了0学习成本低技术门槛的高效AI生图用户体验。
来源:眈眈探求
然而对于吃美术、设计这碗饭的专业人士来说,这玩意生成的图只是所谓的人群审美“最大公约数”,并没有太多创意。
这就类似蜜雪冰城那个logo,人人都喜欢,可没几个甲方真敢用。
写在最后
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程,具体看下方。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
![](https://i-blog.csdnimg.cn/blog_migrate/c085b24f2d3af18cb2293e6c06d26961.png)