提升cv的工程即代码能力

 

第一步：找到baseline论文

一开始对深度学习不熟时，切勿自己蒙着头写代码。既然题主已经看了四十多篇论文，并且有了自己的idea, 那么肯定知道自己要做的方向有哪些前人写下的不错的论文， 从这些论文中挑选出一到两篇作为你的baseline，作为你的代码开端。 一般一个好的baseline有两个特点：1）它一定有开源代码，而且有较完整的文档（readme)。如果它的github星蛮多的更好，说明很多人用过，质量没问题。 2）它发表的时间是近两到三年的。深度学习的发展速度实在过快，时间久远又没人维护的，它用的代码框架什么的可能会过时，比如我之前做colorization, 有几篇不错的都是用的caffe, 比较难拿来直接用。 3）它里面的公式整体较为清晰，这样方便你对照着代码来看公式，当你明白了如何把理论的公式转化为代码时，你基本就上道了。

第二步：深入baseline代码

当你找到了不错的baseline论文后，就要深入阅读、使用它的代码了。在你基础较差时，提高代码能力最好的方法绝对不是头铁地去楞写，而是阅读别人写的优质代码。阅读代码也是有诀窍的，一般分为这么几步：

1. 按照github的文档配置好你的环境。几年前配置环境其实是个蛮痛苦的事，那时候我还用caffe,简直就是噩梦，但现在配置环境变得特别傻瓜式，pytorch/tf都特别好配置。
2. 配置好环境后，按它readme的步骤下载相应的数据，运行相应的脚本，让它的训练先能流畅地跑通。优质的开源代码基本都能跑通，如果在中间报了错，一般都是library版本不符。但如果是涉及到算法内部的问题，就要走到下一步了。
3. 当你把开源代码跑起来或者遇到算法里的bug之后，用一个好的ide(例如pycharm)进入debug模式。在这个模式下的最大好处，就是你可以拿着实际的数据一步一步看代码，哪一步看不懂就对照论文的流程加谷歌一下API的使用方法，很多你干看看不懂的代码结合着tensor shape或者处理过后的数据的shape/value就能看懂。在这一步一步debug运行代码的过程里，其实你对深度学习完整的pipeline怎么写基本就有了一个比较好的认识。如果时间允许，建议把你找到的几篇baseline都这样跑一遍，并且写个笔记记录下大概流程。

第三步：搭建你自己的pipeline

我一般喜欢根据自己特定的任务从头搭建整个pipeline(包括数据I/O, 预处理，模型搭建，loss定义、训练与验证、测试等等），但鉴于题主刚接触深度学习代码，可以从第二步中挑选一个不错的baseline作为你的基础代码，站在它的肩膀上进行修修剪剪。一般你要做的方向虽然可以用baseline的算法，但数据集往往不同，所以在别人的基础上搭建自己的pipeline最重要的是修改数据读取和预处理部分。在这一步先不要把自己的模型加进去，用baseline的模型能跑通你自己的数据即可。

第四步：将你的核心算法融入pipeline

经过了上面三步之后，你已经对深度学习训练预测的流程有了一个比较清晰的认识，这个时候可以开始把你自己的idea加入pipeline. 一般来说你的idea无非是提出了更好的模型，或者更好的训练机制。模型或者loss你在网上一般都能找到整体架构较为类似的代码，比如你要做轻量级图像分割，那大概率可以借鉴Unet，网上一搜一大堆，按照他们的格式仿写即可。这里有个小诀窍，你搭建自己的模型搭好后可以先不放入自己的pipeline里真枪实战的训练，先生成几个随机的tensor扔进去做inference, 看看能不能跑通，输出的shape是否正确。

最后一点点建议，新手想快速入门首选pytorch, tf1.x对新手挺不友好的，而用tf2的研究人员比较少，容易找不到现成的代码。