判断深度学习模型的稳定性_深度学习模型改进的意义？

我们真的生活在一个知识大爆炸的时代，深度学习领域的论文数量是在接近成指数式增长，如果内容都像论文作者所声明的那样共享突出、意义重大，那么人工智能、机器革命应该是好几年前的事了，可是这对现在的我们来说仍然是遥遥无期。

从2012年深度学习大爆炸以来，这一领域就被认为是最好发论文领域之一。由大佬们带起来的“涨点就行”的评价之风迅速成为论文评价的（最）重要标准。面对一个复杂的黑盒系统，广大科研工作者们充分展现了主观能动性的力量，排列组合策略的玩的不亦乐乎。好在这个搜索空间很大，大概率总能找到一种涨点的“新方法”。

就像很多论文中作者设计了一种新的网络结构模块，虽然原理没有数学上的支持，但作者的解释听起来也并不是没有道理。但这种模块的普适性呢？这种模块在各种数据集上的稳定性呢？换句话说，是不是该模块只有在特定的情况下才会有作用？作用是不是具有一定的偶然性？再进一步的讲，按照作者这一思路该模块可以应用到其他地方吗？

如果按照“没有免费的午餐”定理，这些改进后会导致什么样的问题呢？模型计算量变大，还是对输入数据非常敏感？，在这一方面做深入分析的就更少了。

如果没有统一理论指导，而只是在实验不同组合方式得到的模型效果，这样的模型改进价值不大，而且同时也是对资源的一种浪费。

从另一个方面来说，漫山遍野的论文也给研究者们增加了负担，毕竟论文就像盒子里的巧克力，只看外包装，不亲自尝尝很难知道到底味道如何，但现实往往是美味者寡，味同嚼蜡者多。更重要的是，质量不好的巧克力吃多了，往往还会影响影响人的身体健康，甚至会“腐蚀”人多思想，然后自己也生产出难吃的巧克力来。

但是，只要以论文评价学者成就的规则在，这就是不可避免的。

突然也想明白，自己之前做的一些模型改进也都是排列组合的实验而已，往深了说，只是换了种“积木”的玩法罢了。现在仔细想想，在那些改进中学到了些什么呢？并没有，是啊，你能从一场排列组合的实验游戏中获得什么重要的知识呢，基本上那只是浪费时间而已。

现在大量学生涌入深度学习这一领域，很多学校又开设了本科人工只能专业，我很难想象他们会把学生学习的重点放在哪里，会是去研究机器学习的基础理论吗？还是直接追求更容易出成果的深度学习方法？

其实我们根本不用害怕人工智能的寒冬到来，因为按照现在的理论发展，是完全不足以再支撑这一行业火下去，最近连媒体的吹捧似乎都有点麻木了。寒冬是肯定的。但是，应当担心的是：这一浪潮退后，是不是给我们留下了一批只会调参、排列组合“改模型”的人工智能人才？要真是这样，那么我们下一步的发展又该何去何从呢？

（本文只针对部分论文中的模型改进方法，并不是说所有的模型改进都没有意义）