[研究生]你该如何“精读”一篇文章？文献管理与文献笔记：以VCNet为例

前两天电脑总是蓝屏（电脑比较垃圾就不要升win11，天天蓝屏），重装了一下系统，把数据都格了。突然发现自己对于文献管理做的实在是太烂了（找不到自己以前读过的论文）。并且再回头看之前的文章，开始失忆（读完了就忘了文章讲的啥） 所以需要文献笔记。
咨询了一下清华的友友，总结如下：

1. 为各个研究的领域创建文件夹
2. 下载的文章命名举例“001-2020-ECCV-VCNet”，001是给重点文章（你需要参考的文章）的标号，然后是时间-会议/期刊名-关键词。（知云读文章翻译+划关键词）
3. 使用endnotes
4. mendeley进行文献管理（还未尝试）
5. 边写边搜（还未尝试，看着不错）

首先，不是所有文章都需要所谓的“精读”，有时候我们看Abstract和Introduction之后就能大致了解文章想解决的问题和方法，此时如果不感兴趣的话，就可以下一篇了。
并且，有一些“增量”式的文章，站在过去巨人肩膀上的方法，你是很容易读完一篇文章的。
文献笔记主要针对以下情形：

• 需要做组会报告，给别人讲述明白文章的前提是你自己先读明白。
• 对于某篇文章十分感兴趣
• 想要基于某篇文章开展工作

可以用Xmind进行思维导图的绘制（用更简短的话语概括文章要点），但此处还是以文本的方式开展，因为有些图片和自己的思考太多，思维导图看起来会很乱。
专业画图用Adobe Illustrator，B站上有教学，自己学去。

祝大家都能养成文献管理的好习惯，科研顺利。

---

Title

VCNet: A Robust Approach to Blind Image Inpainting

0.Summary

写完笔记之后最后填，概述文章的内容，以后查阅笔记的时候先看这一段。注：写文章summary切记需要通过自己的思考，用自己的语言描述。忌讳直接Ctrl + c原文。

• 首先是对于广义盲修复任务进行了详细的定义，并且提出相对应的训练数据生成与定义方法（开新坑）。
• 二阶段模型，第一部分预测mask，第二部分进行修复，而后联合训练，互相增强。提出了PCN模块，来预测语义不一致区域，并修复出语义一致的结果。
• 对比实验、消融实验就很强的借鉴价值。并且该任务得到了ECCV的认可，值得研究。

1.Research Objective

提出广义盲修复任务定义，与当前SOTA算法对比，并评估所提方法的有效性。

2.Problem Statement

问题陈述，需要解决的问题是什么？

【我认为此处读完Abstract、Introduction就能有答案】

• 图像修复（Image Inpainting）任务的mask是已知的，在某些场景下（mask are not available）不适用（比如，大部分的移除任务，雨滴移除、口罩移除；再者，壁画修复时如果能够直接对于损伤区域进行修复，可以节省标注缺失区域的大量人力物力等）。这时我们就需要Blind Inpainting任务。

• 现存的Blind Inpainting[3][22]工作都假设缺失区域是常数值或高斯噪声，当缺失区域为带有语义的未知内容时，现存方法便失效。主要原因是目前方法的模型将噪声识别成一种缺陷模式damage pattern，而不能侧重于图像中的视觉不一致。这时作者提出versatile Blind Inpainting 任务，也就是更广义的盲修复算法。

• 目前没有对于损伤模式进行详细建模的方法，这对于盲修复很重要。于是作者提出了新的数据生成方法（对噪声建模）以及新颖的网络架构（利用概率上下文规范化PCN来将预测mask送入修复网络的每一层，并和[21][38]的mask employ方法进行对比）解决问题。

3.Method(s)

作者解决问题的方法/算法是什么？是否基于前人的方法？

【我认为此处读完Abstract、Introduction就能有对于方法概括性的答案，尤其是Abstract】

• 作者提出了一个两阶段的视觉一致性网络VCNet，第一阶段预测mask的值，也就是where to fill；第二阶段生成图像进行修复，也就是what to fill。首先预测语义不一致区域，然后利用PCN来辅助修复。
• 作者的contribution有：1）提出了第一个广义的盲修复系统（也就是第一个认真定义盲修复任务的人，算是在挖新坑吧）2）提出了对于广义盲修复任务有效的训练数据生成方法（填充不同的有语义的内容，以及对于噪声建模）
• 所以这个方法并不是incremental的工作，还是蛮有创新的。

方法的细节是什么，如何用数学建模的？

【读完Our Method就能整理出答案】

方法细节参考我[GAN]VCNet: A Robust Approach to Blind Image Inpainting论文讲解中的内容

4.Evaluation

作者如何评估自己的方法，实验的setup是什么样的，有没有问题或者可以借鉴的地方。

【实验Setup一般在Experimental最前面，读完了就能总结答案】

• 实验Setup参考我[GAN]VCNet: A Robust Approach to Blind Image Inpainting论文讲解中的Traning Procedure以及Experiment部分。

【读完Experiment部分就能有答案，此处一定要好好阅读，提出方法很重要，分析、验证方法的有效性更重要】

• 实验评估一般分为对比试验（和现存方法比自己方法整体的表现）、消融实验（自己方法各个部分的有效性）
• 对比试验选取了以下几个方法：

• 消融实验如下：（细节不展开了，哀家乏了）

5.Conclusion

作者给出哪些结论，哪些是strong conclusions, 哪些又是weak的conclusions?

Strong conclusions：

• 提出了一个鲁棒的盲修复框架，在多个基准数据集上具有良好的修复能力。
• 我们设计了一种新的数据准备方法

weak conclusions：

• 为了更好地进行上下文学习，提出了一种新的概率上下文规范化方法。我们的模型可以检测不一致的视觉信号，并将其转换为上下文一致的信号。
• 当手动标记遮罩很困难时，它适用于自动修复图像。
• 我们未来的工作将是探索传统修复和盲修复之间的过渡，例如使用粗糙的mask或弱监督的提示来指导修复过程。

6.Notes(optional)

不符合此框架，但需要额外记录的笔记。

7.Reference(optional)

列出相关性高的文献，以便之后可以继续track下去。

1. [3]Cai, N., Su, Z., Lin, Z., Wang, H., Yang, Z., Ling, B.W.K.: Blind inpainting using the fully convolutional neural network. The Visual Computer 33(2), 249–261 (2017)
2. [22]Liu, Y ., Pan, J., Su, Z.: Deep blind image inpainting. arXiv preprint arXiv:1712.09078 (2017)
3. [37]Y u, J., Lin, Z., Yang, J., Shen, X., Lu, X., Huang, T.S.: Generative image inpainting with contextual attention. arXiv preprint arXiv:1801.07892 (2018)
4. [33]Wang, Y ., Tao, X., Qi, X., Shen, X., Jia, J.: Image inpainting via generative multi-columnconvolutional neural networks. In: NeurIPS (2018)
5. [21]Liu, G., Reda, F.A., Shih, K.J., Wang, T.C., Tao, A., Catanzaro, B.: Image inpainting for irregular holes using partial convolutions. In: ECCV . pp. 85–100 (2018)
6. [38]Y u, J., Lin, Z., Yang, J., Shen, X., Lu, X., Huang, T.S.: Free-form image inpainting with gated convolution. In: ICCV . pp. 4471–4480 (2019)

8.Arouse for me

忌讳直接Ctrl + c原文。

1、首先是我觉得作者蛮有洞察力的。现存的盲修复文章非常少，本文参考的两篇都是发表在很不知名期刊上的文章，而且是2017左右我们所说的“水文”。但是作者能从现实问题出发，再到搜集目前现存的方法，并寻找问题，再提出解决问题的方案。这一套流程是一名研究生需要着重培养、且必不可少的能力。也就是从实际出发发现问题、从细微之处解决问题的能力。

2、良好的数学建模知识以及数学功底，并且有能够将数学方法迁移到人工智能领域解决问题的能力。知识迁移，是我认为的第二个关键词。

3、敢于挖坑，敢于质疑，思辨能力对于研究生来说也是非常重要。

关于一些具体方法的启发我就不贴在博客上了，希望有朝一日大家也能看见我挂的arxiv~ 继续加油啦~