金磊 明敏 发自 凹非寺 量子位 | 公众号 QbitAI
学废一位人类插画师，AI只用了32张作品。
故事的主人公叫做Hollie Mengert（霍姐），她自打2011年从艺校毕业以来就从事着插画相关工作。
11年来的打拼，也让霍姐在插画上有了自己独树一帜的风格。
然鹅……
有天霍姐一觉醒来却收到朋友的来信：“姐~你现在成人家AI的模型了”。
于是乎，毫不知情的霍姐便去Reddit上看了看到底是咋回事，结果——
有位小哥搞了个AI，只用了霍姐32张作品训练，就能模仿她的风格作画！
△左：霍姐作品；右：AI作品
好了，这下子大家都能用这个AI，画出霍姐风格的插画了。
而且更“致命”的是，给AI输入的提示词必须带上“holliemengert artstyle”（霍姐风）……
（多冒昧啊……）
这波操作也是直接让网友炸了锅，纷纷留言为霍姐抱不平：
人家还活着呢……
你可把这位姐妹坑惨了。
然后随着这事的逐渐发酵，细节也逐渐浮出了水面。
2.5小时炼出新模型，成本不到15块
事情最初只是一位来自加拿大的工程师Ogbogu Kalu（卡哥），出于个人爱好做了个插画AI。
看着效果还不错，他就把模型发到了Reddit上，结果一下子火了！
不少网友看了直呼：这是巨作！
本以为需要成千上万张图才能训练出好的效果，没想到这么点儿也可以。
而且训练成本也很低，卡哥说自己做这个模型，只是在云端租了GPU、花2个半小时就搞定了。
折算成本不到2美元（人民币约15块）。
不过，卡哥当时做出这个AI也实属意外，在此之前他并不了解霍姐的作品。选择这一风格，只是因为他在帮别的网友微调模型，那位网友给出的风格和霍姐画风相似。
通过改进数据集，他一晚上便弄出了一个效果更好的新模型，命名为“hollie-mengert-artstyle”。并把代码也放了出来，人人都能免费试玩。
他用到的AI，主要是Stable Diffusion和DreamBooth。
后者是模仿风格精髓的关键。
这是谷歌在今年8月发布的新AI。它只需3-5张图片，再加上文字表述，就能让指定物体迁移到其他场景或风格中去。
和Dall-E 2、Imagen等最大的不同是，DreamBooth能对选定对象忠实还原。
具体方法是给物体加上“特殊标识符”。
原本图像生成模型收到的指令只是一类物体，例如[cat]、[dog]等，但现在DreamBooth会在这类物体前加上一个特殊标识符，变成[V][物体类别]。
以下图为例，将用户上传的三张狗子照片和相应的类名（如“狗”）作为输入信息，得到一个经过微调的文本-图像扩散模型。
该扩散模型用“a [V] dog”来特指用户上传图片中的狗子，再把其带入文字描述中，生成特定的图像，其中[V]就是那个特殊标识符。
而且这种方法不局限于某个模型，Dall-E 2、Stable Diffusion等调整后也能实现如上效果。
比如之前亚马逊工程师就发布过一个DreamBooth-Stable-Diffusion。
Hugging Face上这类模型超级多，各种风格都有，如迪士尼、赛博朋克等等。
卡哥的模型也属于其中之一。
实际上，把DreamBooth用在Stable Diffusion不算难，油管就有现成教程。
有人用30张图微调模型，全程不到20分钟，并且效果是杠杠好，他的照片可以毫不违和地融入到各种风格中去。
（不过芝麻街这个很难判断效果到底好不好
）
“原作与此无关”
毕竟这事在圈里被讨论得甚是火热，一位叫Andy Baio的吃瓜网友，就直接找到了两位当事人聊了聊。
首先，霍姐谈了谈她的看法：
我得知这件事情的第一反应，就是觉得我名字出现在这个工具里，有被冒犯到。
我对这件事情一无所知，也没人征求过我的意见。
即便他过来问我“是否可以这么做”，我也不会答应的。
霍姐认为，给AI训练所用到的图像就涉及到了版权问题。
因为当初她是和迪士尼等客户有合作，没有客户的允许，霍姐自己都不能随意在网上传播插画。
除此之外，霍姐还认为这个AI模型跟她的名字挂钩，但并不能完全展现她插画风格的独到之处：
作为一名艺术家，我觉得让我特别自豪的地方，就是作品能有真实的表达、吸睛的设计，并且人物能够产生共鸣。
但AI生成的插画，就挺难做到这些点的。
然后霍姐更细致的对这个观点做展开：
我觉得AI可以模仿笔刷的纹理和渲染、选择一些颜色和形状，但这并不代表就能胜任一个值得被雇佣的插画家或设计师。
因为渲染、笔触和颜色等，都是艺术最表层的部分。我认为人们最终会与艺术联系在一起，是因为一个可爱或让人产生共鸣的角色。
总而言之，霍姐个人觉得AI生成的作品跟自己的艺术水平还是有很大的距离感。
但让她非常无奈的是，自己的名字确确实实就跟AI“捆绑”到了一起，成了工具的一部分。
那么站在工程师的角度，又如何看待这件事呢？
Andy Baio也找到了卡哥聊了聊：
我认为AI的训练和图片的使用都是合法的，即便这事闹到法庭也很可能被判为“合理”，因为你是没法给一种画风申请版权的。
100TB的训练数据压缩成一个4GB的模型，AI作画的方式也不能算“缝合”，更像是从生动记忆中提取并创新。
而且这是技术发展不可避免的事情，像Adobe在PhotoShop里搞AI工具，微软也在自家设计套件里添加了图像生成器。
那这就意味着艺术家们对自己的作品就没有发言权了吗？Andy Baio继续追问道。
卡哥对此表示：
我觉得现在很多的反对意见是无解了AI的运作方式。
AI生成的内容并不是基于艺术家作品的拼贴，而是创造了全新的图像，这是一种变革。
对AI不够了解的人没有真正意义上的发言权。
不过后来，卡哥还是把Hugging Face上模型的名字，从最初的Hollie-mengert-artstyle，改成了更为通用的Illustration-Diffusion。
并且还特意补充、强调了一句：
Hollie与此无关。
而在此数天之后，卡哥又发布了一个新模型。
这次他所采用的是另一位艺术家James Daly III的40张作品来训练：
△左：James Daly III作品；右：AI生成作品
……
那么对于这件事，你怎么看呢？
参考链接：
[1]https://waxy.org/2022/11/invasive-diffusion-how-one-unwilling-illustrator-found-herself-turned-into-an-ai-model/
[2]https://www.reddit.com/r/StableDiffusion/comments/yaquby/2d_illustration_styles_are_scarce_on_stable/
[3]https://news.ycombinator.com/item?id=33422990
[4]https://huggingface.co/ogkalu/Illustration-Diffusion
— 完 —
猜您喜欢：
深入浅出stable diffusion：AI作画技术背后的潜在扩散模型论文解读
最新最全100篇汇总！生成扩散模型Diffusion Models
附下载 |《TensorFlow 2.0 深度学习算法实战》
《礼记·学记》有云：独学而无友，则孤陋而寡闻
欢迎加入 GAN/扩散模型 —交流微信群 ！
扫描下面二维码，添加运营小妹好友，拉你进群。发送申请时，请备注，格式为：研究方向+地区+学校/公司+姓名。如 扩散模型+北京+北航+吴彦祖
请备注格式：研究方向+地区+学校/公司+姓名
点击 一顿午饭外卖，成为CV视觉的前沿弄潮儿！，领取优惠券，加入 AI生成创作与计算机视觉 知识星球！
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
