1. BP算法。只需要参考 Hinton在natrure上的论文,1986年。https://www.nature.com/articles/323533a0 把算法手动推导十遍,然后用任意一种语言实现,完整跑出一个例子得到合理的预期的结果。这一步最重要,BP是深度学习的核心。BP算法不要找其他论文了,这个就是最好的。
2. CNN网络。LeNet-5论文《Gradient-Based Learning Applied to Document Recoginiton》,根据BP算法手推一遍,不需要实现。然后把alexnet, zfnet, googlenet, resnet, densenet 这几篇论文读一遍。
3. RNN网络。把https://iamtrask.github.io/2015/11/15/anyone-can-code-lstm/ 这里的rnn的py代码重写一遍,根据bp算法推导权重更新公式。然后把《Long Short-Term Memory》1997年论文读一遍,用bp推导公式。
4. tensorflow或者mxnet,任选一种。读完官方文档,把官方提供的所有例子实现一遍。 注意自动微分和autograd。
5. 到拉勾找齐魔都和帝都的所有深度学习工程师jd,查漏补缺。