近日来,对之前的科研工作做了一些思考,也发现了一些思路上的错误,故总结如下。初上路,有认知欠妥的地方,还希望大佬们多多指教。
- 在深度学习的实验中,真正牛逼的不是盲目的靠试、靠堆砌各种之前论文中的创新点。这样的工作比较缓慢且很难有更为长久的研究进展。
- 尝试不断的发现现有模型的问题,发现模型作用在相应数据上所面临的问题。找到为何模型的设计在数据集中的部分数据上表现很差,进而分析这些数据的分布规律,再针对这些下手改进方法,远远比单纯为了刷点更有意义。
- 算法、模型,时时刻刻都在更新,永远不可能穷尽,但抓住其背后的原理和本质更为重要。
- 在看顶会论文时,你会发现:一些牛逼的方法,它的设计非常简单,其背后的逻辑也很简单易懂且富有新意。简单之处,性能也有极大的提升。
发现问题的过程,是一个拾级而上、厚积薄发的过程。一定要多找师兄师姐、老师们多多讨论,闭门造车会走很多弯路。