传统方法VS深度学习方法

传统方法VS深度学习方法

传统方法与深度学习方法各自解决问题的方式

传统方法：

1.找到一个大体上符合问题的模型，得到参数与目标的函数关键，并优化求解。
2. 改进：各自带有人类先验认知的小优化改进到上述模型中。

因此，传统方法的核心在人类对目标问题的认知和建模，以及提出一种solver解决该模型。

深度学习方法：

1. 首先确定我的问题和目标是否存在必然的关系，不需要建模问题到目标的模型，而是要建立问题到目标的合适的神经网络结构（该结构常常参考传统方法）。
2. 更加关注如何使用一些优化策略来使自己构建的网络收敛，俗称炼丹过程。

因此，深度学习方法的核心在于人为创建一个符合问题与目标的网络模型结构，并通过炼丹过程使其收敛。

优劣势：

深度学习方法优点：

深度学习方法使用参数拟合的问题的方法在收敛的好的情况下会超越传统方法的效果。大量网络参数的拟合能力大多时候是强于传统方法中以一些人类先验建立的模型的。且随着问题复杂程度的增大，深度学习优势更加明显。

深度学习方法的缺点：

1. 炼丹过程较为枯燥。
2. 对问题的调试也相对困难。
3. 需要训练数据
4. 泛化能力—深度学习方法泛函能力 个人认为其实是由方法本身决定的，即特征是否与目标存在必然的联系。如何存在必然联系， 不容易过拟合，泛函能力不错，反正较差。

解决问题的理想情况：

一些显而易见的问题使用传统方法解决，而一些难以建模的问题使用深度学习方法解决。

另一种建议是：如果是逆问题，即目标就是原数据本身，那使用深度学习就避免了缺点3，是不错的研究方法，如NeRF。