粗读Paint Transformer: Feed Forward Neural Painting with Stroke Prediction

        作者本人在知乎写了更详细的文章，本博客只是提炼要点并作为个人笔记，想了解更详细的内容还是要看论文和作者的博客：[ICCV 2021 Oral] Paint Transformer - 基于笔触预测的快速油画渲染算法

        本文思路是模拟笔画，从粗的笔画不断变细，达到绘制一副油画的效果。这种方法既可以保证生成图像与原图像相似，但同时保留油画的特点和质感。之前，网易实验室已经用优化的方法实现了这一设想，但因为设计优化，所以训练时比较耗时。

        作者思路是将优化问题变为前馈预测问题，可以大幅节约时间。

        从左下角的空白画布(Blank Canvas)开始，先随机生成几笔背景笔画(Background Strokes)，得到一副背景图像Ic，再添加几笔前景笔画(Foreground Strokes)，得到目标图像It，而笔画预测器需要根据Ic和It预测出前景笔画是哪些，并通过预测出来的笔画和Ic组合，得到预测图象。

        通过缩小预测笔画与实际笔画的区别，和预测图象与实际图像的区别，可以提高预测器的预测能力。最后使用时，直接将真实图像作为目标图像，输入到预测器，并渲染出预测图象即可。

        而笔画的参数主要有：R，G，B，决定颜色，θ，决定倾斜角度，w决定宽，h决定高，x，y决定中心坐标。通过这六个属性和一个初始笔刷，就可以准确地生成一幅图像。