如何从论文中挖掘和研究思路的办法

1 打补丁法：
打得准到脸上即可一击致命
以MAE为例：基于ViT + BERT，ViT论文中提到的文章缺点即在BERT上的效果并不好，基于此MAE做了两个改进，一是掩码时遮住更多图片块（目的是使图片之间没那么融合，增加任务的挑战性），并且在编码的时候只处理没有遮住的块用来加速；二是用Transformer块来输出即解码。第一个想法其实本质就是数据增强的过程，用来防止模型过拟合，因为ViT的收敛非常慢，所以自然而然可以想到第一个想法：是否可以用***数据增强***的方式来保证模型效果的同时也***减少训练时间***；第二个想法：是否可以使用***新的架构***来代替ViT；第三个想法：针对BERT***损失函数***是否可以进行改进（比如Contrastive Learning）；

针对论文的细节考虑哪一点是否可以让其变得更好，罗列出自己的想法后，一定要用实验去验证，并且通过实验结果来提供新的想法。在打补丁的时候切忌单纯罗列，一定要通过一个***故事将补丁串联起来***，即考验写作的能力。在选择打补丁的论文也是很有技术的，首选***新论文即补丁空间比较大***；第二个考虑硬件的实际情况；当然也可以考虑加速训练，减少计算成本这个方向作为想法。

打补丁其实就是针对某篇论文（最好是新论文）中的不足之处进行改进，针对论文中具体的细节，思考自己是否可以想法更好的方法进行弥补，并且通过实验来验证和再次构思新的想法。

未完待续~