Overview:
官方链接:https://clipasso.github.io/clipasso/
官方仓库:https://github.com/yael-vinker/CLIPasso
官方论文:https://arxiv.org/abs/2202.05822
论文机构:洛桑联邦理工学院(EPFL)、特拉维夫大学、赫兹利亚跨学科研究中心(Reichman University)
获奖理由:该研究提出了一种在不同抽象级别绘制对象的方法——CLIPasso。其中将草图定义为一组笔画,为了适应基于 CLIP 的感知损失,该研究使用可微光栅化器来优化笔画的参数。抽象程度是通过改变笔画的数量来控制的。
CLIPasso 获得了2022年的SIGGRAPH最佳论文奖,SIGGRAPH什么概念?
SIGGRAPH是由ACM SIGGRAPH(美国计算机协会计算机图形专业组)组织的计算机图形学顶级年度会议。第一届SIGGRAPH会议于1974年召开。该会议有上万名计算机从业者参加,最近一次在洛杉矶举行。过去的SIGGRAPH曾经在达拉斯、波士顿、西雅图、新奥尔良、圣地亚哥和美国的其他地点举办。SIGGRAPH 2011于2011年在温哥华举行,这是SIGGRAPH首次在美国以外的城市举行。
![](https://i-blog.csdnimg.cn/blog_migrate/9ae54a0153013174b9496de5223bef72.png)
个人Summary:
【论文贡献点】:
把CLIP应用到了简笔画生成领域(图2):不是单纯的图到图的生成,也不是素描风格(图1 );
CLIPasso 可以输入任意语义类别的输入图像,之前的模型无法做到这点,只能在有限类别图中选取;
CLIPasso 可以通过设定 num_strokes 笔画的数量,控制生成的抽象程度,实属牛逼;
【论文未来改进点】:
省去抠图步骤:输入图像中如果有背景,中间还需要过一道抠图的过程(U^2-Net)(图0),在送入模型中,所以白色背景,或者没有背景的图片效果会更好;u2net.pth下载链接:https://pan.baidu.com/s/1MMX9JU5iDqrSBenVj-547A?pwd=i4mr 提取码: i4mr
笔画按序生成:目前是曲线随机初始化,然后同时开始生成,不是像人一样,画图有先后顺序
【训练过程简述】:
训练过程:贝塞尔曲线就是通过在平面上定义的几个点来确定一条曲线,本文中,每条曲线是通过四个点来确定,每个点都有其x,y坐标,多少个num_strokes就是多少条曲线。过程:随机初始化一些贝塞尔曲线,然后经过不停的训练,更改这些点的位置,从而更改贝塞尔曲线,得到最终的简笔画。
模型初始化:1、完全随机初始化贝塞尔曲线的参数,会使得模型训练很不稳定 -> 2、将图像输入ViT模型 -> 在显著性区域采点,相当于你已经知道这里有个物体(语义更明确),或者已经相当于沿着物体的边界去绘制贝塞尔曲线了。这样初始化曲线和最终简笔画曲线已经比较接近了。大约100次就能看出大概轮廓
目标函数: Ls:semantics loss,计算原图特征和简笔画特征,使二者尽可能相似。:可以让模型提取到的图像特征和 CLIP 图像编码器提取的特征接近。这样就借助了刚刚提到的CLIP的稳健性;Lg:geometric distance loss,计算原图和简笔画的浅层编码特征的loss。:借鉴了一些LowerLevel的视觉任务。因为在模型的前几层,学习到的还是相对低级的几何纹理信息,而非高层语义信息
![](https://i-blog.csdnimg.cn/blog_migrate/9c104800047c29a2c85e5cfad9d4c80f.png)
个人Experiment:
图0:https://github.com/xuebinqin/U-2-Net
![](https://i-blog.csdnimg.cn/blog_migrate/04c04d94e5b2350ab838e9c138658197.gif)
图1:
![](https://i-blog.csdnimg.cn/blog_migrate/5614d3b908ddff5f91fcba231c67e09e.png)
图2:
![](https://i-blog.csdnimg.cn/blog_migrate/aa03995f1c8a50fb0118baef83af2b95.png)
图2 中的第四个皮卡丘是 diffusers模型“prompthero/openjourne” 生成的,背景不是很干净,简笔画效果受到了影响,第三个皮卡丘图片来自clipartmax.com的png图片,效果稍好;第一个图和第二个图简笔画效果看起来还不错~ 有点意思
图3:
![](https://i-blog.csdnimg.cn/blog_migrate/900b068122067f496c54fab52c9a1a1a.png)
微信公众号链接:https://mp.weixin.qq.com/s/YdkvJXWKGZHMa_5-vs0meQ
![](https://i-blog.csdnimg.cn/blog_migrate/9e08d65c7395b782645eb34ece05751b.png)