2021-04-27

决策表，回归与回溯。
1 决策树模型
分类决策树模型是一种对实例进行分类的树形结构，其由结点（node）和有向边组成，而结点也分成内部结点和叶结点两种，内部结点表示的是一个特征和一个属性，叶结点表示具体的一个分类，这个地方一定要搞清楚.用决策树进行分类，从根结点开始，对实例的某一个特征进行测试，根据测试结果分配往对应的子结点中去，每个子结点对应一个特征的取值，递归的进行分类测试和分配，最终到达对应的叶结点，完成本次的分类。 2.回归算法
回归算法：是一种比较常用的机器学习算法，用来建立“解释”变量 (自变量X)和观测值(因变量Y)之间的关系；从机器学习的 角度来讲，用于构建一个算法模型(函数)来做属性(X)与 标签(Y)之间的映射关系，在算法的学习过程中，试图寻 找一个函数 使得参数之间的关系拟合性最好。 回归算法中算法(函数)的最终结果是一个连续的数据值， 输入值(属性值)是一个d维度的属性/数值向量回归问题通常是用来预测一个值，如预测房价、未来的天气情况等等，例如一个产品的实际价格为500元，通过回归分析预测值为499元，我们认为这是一个比较好的回归分析。一个比较常见的回归算法是线性回归算法（LR）。另外，回归分析用在神经网络上，其最上层是不需要加上softmax函数的，而是直接对前一层累加即可。回归是对真实值的一种逼近预测。
优点：1.建模快速简便，当要建模的关系不是非常复杂且没有大量数据时尤其有用。2.非常直观地理解和解释。3.线性回归对异常值非常敏感。
3.回溯算法
回溯算法：是一种有组织的系统最优化搜索技术，可以看作蛮力法穷举搜索的改进。回溯法常常可以避免搜索所有可能的解，所以它适用于求解组织数量较大的问题。回溯法把问题的解空间转化成了图或者树的结构表示，然后使用深度优先搜索策略进行遍历，遍历的过程中记录和寻找 所有可行解或者最优解。回溯法中，首先需要明确下面三个概念：（一）约束函数：约束函数是根据题意定出的。通过描述合法解的一般特征用于去除不合法的解，从而避免继续搜索出这个不合法解的剩余部分。因此，约束函数是对于任何状态空间树上的节点都有效、等价的。（二）状态空间树：刚刚已经提到，状态空间树是一个对所有解的图形描述。树上的每个子节点的解都只有一个部分与父节点不同。（三）扩展节点、活结点、死结点：所谓扩展节点，就是当前正在求出它的子节点的节点，在深度优先搜索中，只允许有一个扩展节点。活结点就是通过与约束函数的对照，节点本身和其父节点均满足约束函数要求的节点；死结点反之。由此很容易知道死结点是不必求出其子节点的（没有意义）。
结论：回溯的本质是穷举，穷举所有可能，然后选出我们想要的答案。如果想要回溯高效一点，可以加入剪枝的操作回归法是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。