线稿提取

背景：美术艺考一般分为三个科目：色彩、素描以及速写。其中色彩和速写考生的可发挥空间较大，而素描比较固定，绝大多数是临摹一个人物的头像。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gTPBi177-1602163287262)(h学生高分作品ttps://img-blog.csdnimg.cn/20201008212049686.png#pic_center)]

研究目的：针对美术考试三大科目之一的素描头像，我们研究用计算机去根据考题，生成素描的高分作品。

实验一：以前看过的生成素描论文的实现
效果1：(轮廓和阴影结合生成)

  轮廓    +     阴影      =    素描

效果2（非对称的循环gan网络生成）：

Style01 style02 style03
效果3（LIC方法）：

可以看出，这三种方法生成的素描图片，有素描的感觉，但是效果一般。缺点：1.第一个的阴影不够突出，色调不明显 2.LIC的办法噪声场特别明显 3.第二个在细节的地方刻画得不好 4.大多数实现的都是在原图上面做的修改，没有艺术的效果，人画的不会和原图一模一样。

实验二：风格迁移尝试
尝试用风格迁移的方法对图片进行转化：
风格迁移图=内容图+风格图
得到：

可以看出风格迁移的方法并能直接使用于生成高分的图片，还是有很大的难度的。

下面列举几种自己想到的解决方案：
方案1：
探究高分图片的直方图分布曲线，是否可以用映射的方法进行转化？

思路：结合轮廓和阴影的素描画的生成方法里面，研究高分图片的直方图具备的特征，用数学的函数去拟合，然后最大似然估计出函数表达式，用映射的方法一一对应上去。做一个预处理，再使用风格迁移的方式进行叠加。

方案二：
用gan网络训练一个生成器，还有数据集，一一对应的方式去训练生成一个高分素描画的生成器，这是一种切实可行的方法，但是数据集的获取和收集占了很大的工作量。
方案三：
提取出轮廓图，然后用风格迁移

这个实验的效果不太好，可能是因为轮廓图不够好，补充一个用神经网络提取出线稿，再进行风格迁移的实验。
方案四：
提取出轮廓图，然后用深度学习的方法去训练一个阴影的生成器，给轮廓图加上颜色，再用一点随机线条生成的方式去生成一幅图片的随机性线条，使得其更加逼真。
这个方法似乎比较可行，相关的技术支撑是动漫的自动上色，其思路就是提取出一幅画的线稿，然后用上色的生成器去合成其色彩，得到一幅画，实验的过程如下：

这是上色的图的风格

这是纯线稿

得到的上色图

方案5:
按照之前的说法，只要得到色调图，用素描的笔触去拟合就可以得到素描质感的素描图了，所以问题集中在得到高分素描的色调图上面，另外，实验表明：
1.风格迁移应该不适合于高分素描画的生成，原因如下：a.只是学习到大体的风格，学到的是它的色调感，即使学得再好，也没有突出的地方，因为我观察到一幅素描肯定有很突出的地方艺术处理，比如一个人的脸部较白，和他的深色衣服相比，有很大的色差，但是变成了素描之后，就没有那么明显了，这就是艺术的处理手法，风格迁移没有重点，给人一种“灰蒙蒙”，“似是而非”的感觉，所以我觉得可以仅把风格迁移作为一种预处理。
2.轮廓图，还不够清晰，2012年的论文得到的轮廓图，在一定的程度上还是不够清晰，但是他有一点是可取的，就是点的方向，有交叉感，现在有另外一种方法（还没有实验过）就是对图片的线稿进行自动的提取，要做一个实验看看，线稿提取出来之后的程度，比起之前的方法是不是够清晰，如果足够清晰的话，后面是不是要考虑加入点的方向，分类，从而生成更加清晰的轮廓图呢？ 这是轮廓图这一块的想法。
结果：可行，把图片----动漫—线稿。
3.重点的工作，要思考下面的问题？
a.要不要用深度学习的方法去训练一个生成器，收集数据集的代价很大。
b.如果不用深度学习的方法，只能用传统的方法去实现了，就是轮廓图得到之后，然后再去用色调模拟了。

实验三：提取线稿实验
我们希望提取出来的线稿和人画出来的尽量相近，人画出来的如下：

1.直接用照片去提取出来得线稿的图片是这样的：

2.直接用高分的素描，提取出来的线稿

3.将图片灰度化之后，提取线稿

4.二值化之后，提取线稿

5.将图片转化成为手绘图，然后进行提取线稿
转化成为手绘图：

转化成为手绘图，提取线稿：

6.将图片风格迁移后，提取线稿
迁移的内容图为原图，风格图为：

得到迁移的图片：

提取线稿：

7.用cartoongan把图片变成动漫，再用动漫线稿模型去提取线稿
原图：

人画的：

原图+线稿提取

Catroongan

效果不是很好

Cartoongan后+线稿提取

8.把图片转化为动漫，动漫后提取线稿
Github一个项目：
https://github.com/minivision-ai/photo2cartoon
实现了把图片转化成为动漫的效果，作者还把其效果公布在网站上面
在一个网站上面：
https://ai.minivision.cn/#/coreability/cartoon
原图：

转化成为动漫图：

动漫线稿模型，提取线稿：

对比：

可以再做一个实验，加进去像素点的方向分类，然后再把图片的背景，笔触的大小换一下，应该可以得到接近手绘的效果。