[论文笔记]Style and Abstraction in Portrait Sketching

[论文笔记]Style and Abstraction in Portrait Sketching

• 文章使用data-driven的方法，研究人脸素描的style和abstract；
• 文章采集和分析的数据是让7位艺术家根据照片绘画出的素描，并且通过限制艺术家绘画的时间，从270s到15s，让这些素描图像划分为不同的abstract层次；
• 文章从strokes和geometric shape两个层次分析数据，在每个层次中又构造一个能捕捉style和abstraction的模型，这些模型最后应用于素描生成；
• 最后实现的效果是对一张新的脸可以生成不同style不同abstraction的素描。

Introduction

1. 关于abstraction提到的比较有意思的是毕加索的名画”Bull”，包括了11个逐渐抽象的过程
2. 收集的数据：随着绘画时间的减少，从写实到抽象；数据跨越了多维的空间，包括抽象层次，艺术风格，不同的人脸；利用这些数据构造描述style和abstraction的模型
3. stroke层次：
   
   • strokes的数据库分为三个目录(shading strokes, complex strokes, simple strokes)；
   • 分析style和abstraction时候，分析曲线的性质(spatial distribution, temporal distribution, overlapping, length)；
   • 生成的时候，strokes library用curvature和shape context描述来索引(Ref: BELONGIE, S., MALIK, J., AND PUZICHA, J. 2002. Shape matching and object recognition using shape contexts. IEEE Transactions on Pattern Analysis and Machine Intelligence 24, 4, 509–522.)
4. shape层次：使用mesh model来定位人脸的结构和比较素描和输入图像的人脸特征，这样构造了人脸和素描的关系，文章用ASM来研究不同style和abstraction的shape

Related Work

1. 不是直接学习一个stroke style的参数模型，而是直接使用输入集合的strokes
2. Gestalt rules ？？？？

Data Gathering

文章使用的Dataset有以下特点：

对于素描图像：
- 7个艺术家的绘画
- 参考 Center for Vital Longevity人脸库中的24张人脸
- 绘画的素描4个abstraction level，分别为270, 90, 30, 15s
- 使用Wacom数位板，可以记录tilt，pressure，location等参数，将每个stroke保存为位图
- 以精确描述为绘画目的而不是夸张的特征
- 672个sketch，大约每个艺术家8000多个stroke
- 7个艺术家都要对24张人脸进行4个层次的抽象绘画，每个人脸有28个素描画

画三角网格mesh：
- 对训练数据用文章自行设计的交互软件手动标定三角网格mesh
- mesh包含90个点

Strokes Analysis

目的：分析不同艺术家不同abstraction层次中stroke中属性的不同特征，捕捉可以描述特定style或者abstraction过程的维度
方法：从stroke library中分析以下特征：
1. Spatial distributions
不同style(不同艺术家)和不同abstraction层次下，stroke参数如何分布，文中以intensity的分布为例(intensity受pressure，overlap等参数影响)
2. Temporal distributions
影响drawing style
3. Stroke statistics
影响abstraction level
4. Stroke classification
不是辨别shading 和 shape，而是complex 和 simple

Shape Analysis

1. 使用ASM和PCA来encoding不同sketch的差异，但是中间不使用average shape来做比较，而是使用 Spectral analysis (???? )比较sketch和ground truth face之间的差别
2. 数学表达：
   Mp是原图像的mesh model，Ms是对应素描图像的mesh model，对Mp, Ms归一化，对齐到鼻子的点，然后计算每一个位置上点的offset
   
   
   
   一张特定sketch的形状差异可以用90x2的高维offset向量表示,2表示两个方向
   
   
3. 使用PCA对180维的特征表达进行降维，取前3个主成分
   文章说得到的这个向量就能表达shape，还能重构成sketch？？？
   下文说到的shape model就是只这里降维得到的各种style和abstraction向量表达

Sketch Sythesis

流程：

1. Edge Extration

   • 使用FDOG边缘检测器(flow based difference of gaussians code)，提取的边缘连续，平滑，更好地表达关键脸部特征，而且这个方法可以调整运用双边滤波器调整边缘图地细节特征
   • 对于不同abstraction层次的边缘检测，我们通过融合stroke distribution map(Id)和检测结果(Ie)来修正边缘检测结果

2. Shape Deformation

   • 将mesh template fit到输入的人脸图像
   • 从shape analysis中选择想要的style和abstraction的shape model
   • 在选择的shape model前n个主成分方向上，以一个标准差移动所有mesh points.
   • 最后将检测得到的edge map仿射变换到调整过后的mesh上

3. Curve Generation

   • 将检测到的edge转化到有style的strokes，实现这个目的，使用的是Noris的方法，将图像edge转化为vector curves[Ref: NORIS, G., HORNUNG, A., SUMNER, R. W., SIMMONS, M.,
     AND GROSS, M. 2013. Topology-driven vectorization of clean
     line drawings. ACM Transaction on Graphics 32, 1, 4:1–4:11]
   • 因为这些curves都是比较长和平滑的，所以要进行分割segmentation，影响分割的三个参数：
     1). stroke的长度l分布
     2). overlap的数量m
     3). 分割后perturbation的数量
     
     

4. Stroke Matching
   1). 鉴于数据库数据的多样性和复杂性，使用data-driven的方法，直接将艺术家真实的strokes复制来生成素描
   2). 数据库stroke的引导：

   • 分离shading stroke和contour stroke
   • 分离complex 和simple stroke
   • 在每个目录里面，又用stroke descriptors描述
     3). 数据库的中每一个stroke的描述由三个特征表达：
   • shape context直方图
   • stroke的弯曲
   • stroke的长度
     ps：具体怎么算没看懂
     4). 匹配的方法：cascading nearest neighbor search

   5). 把edge替换成匹配到的stroke的方法：Iterative Closet Points (ICP) algorithm
   6). 根据stroke intensity map修改替换后的stroke的intensity

   1. Animated Drawing
      模仿艺术家的创作过程，按照时间顺序来画每个部位，构造一个probability density function来预测下一个绘画的部位

实验和讨论部分略