2021-04-29

回溯VS回归

回溯法（探索与回溯法）
是一种选优搜索法，又称为试探法。
按选优条件向前搜索，以达到目标。但当探索到某一步时，发现原先选择并不优或达不到目标，就退回一步重新选择，这种走不通就退回再走的技术为回溯法，而满足回溯条件的某个状态的点称为“回溯点”。

回溯法其方法结构可以理解为类似一棵多叉树，每个树结点代表一个可能的部分解，它的儿子是在它的基础上生成的其他部分解。
树根为初始状态，这样的状态集合称为状态空间树。

回溯法对任一解的生成，一般都采用逐步扩大解的方式。其从开始结点（根结点）出发，以深度优先搜索整个状态空间
其搜索方法可以简单理解为：一直向下搜索直到无法扩展（即死结点），此时往回移动（回溯）至最近的活结点处（上一个结点），并使这个活结点成为当前扩展结点，以此类推，直到找到所要求的解，或解空间中已经无活结点。

运用回溯法解题的关键要素有以下三点：
(1) 针对给定的问题，定义问题的解空间；
(2) 确定易于搜索的解空间结构；
(3) 以深度优先方式搜索解空间，并且在搜索过程中用剪枝函数避免无效搜索。

回溯法实现 - 递归和递推（迭代） 回溯法的实现方法有两种：递归和递推（也称迭代）。一般来说，一个问题两种方法都可以实现，只是在算法效率和设计复杂度上有区别。

1. 递归 思路简单，设计容易，但效率低。
2. 递推 算法设计相对复杂，但效率高。

—————————————————————————————

回归法
回归是一种用于建模和分析变量之间关系的技术，通常是它们如何结合并且与一起产生特定结果相关。

一.线性回归
线性回归指的是完全由线性变量组成的回归模型。
单变量线性回归，用于使用线性模型对单个输入自变量和输出因变量之间的关系进行建模。
多变量线性回归，其中为多个独立输入变量（特征变量）和输出因变量之间的关系创建模型。 模型保持线性，输出是输入变量的线性组合。

优点
1.建模快速简便，当要建模的关系不是非常复杂且没有大量数据时尤其有用。
2.非常直观地理解和解释。
3.线性回归对异常值非常敏感。

二.多项式回归
其适合处理非线性可分数据的模型，可以让一些变量具有指数，其他变量没有指数，并且还为每个变量选择我们想要的精确指数。

优点
1.能够建模非线性可分离数据; 线性回归不能做到这一点。
2.它通常更灵活，可以建立一些相当复杂的关系。
3.完全控制特征变量的建模（指定要设置）。

不足
1.需要仔细设计， 需要一些数据知识才能选择最佳指数。
2.如果指数选择不当，容易过度拟合。

总结:回溯法是通过类似于穷举法，通过不断地生成解，尝试，最后得出所要求的解，可以理解为走一步看一步。
而回归法是先规划好一个大致的模型（解的范围），再通过逐步控制变量得到解，在过程中也能很直接的看出异常值（异常的解）。