理论学习 消融实验

        消融实验的目的在于移除系统中的特定的部分，来控制变量式的研究这个部分对于系统整体的影响。如果去除这一部分后系统的性能没有太大损失，那么说明这一部分对于整个系统而言并不具有太大的重要性；如果去除之后系统性能明显的下降，则说明这一部分的设计是必不可少的。当然，如果出现了第三种情况，也就是去除之后模型的性能不降反升，那么建议找一下bug或者修改设计。

        做消融实验会帮助理解构成系统的哪些部分是真正有用的，而哪些模块是可有可无的。因此消融实验可以帮助设计出更简单且工作的模型。因此，如果可以用两种模型获得相同的性能，则优先选择更简单的模型。