回归模型

一、一元线性回归

线性回归是以前用latex 整理的笔记，这里不知道怎么将latex 直接转化过来直接上图吧

二、多元线性回归

三、多项式回归

多项式回归基本思想就是增加高阶项，从而增加模型的非线性拟合能力

广义加模型

回归树

回归树，以前看的都是分类树，ID3 树、C4.5树都是分类树，主要是用信息增益和信息增益比进行分割。CART 树是Breiman等人在1984年提出的算法，即可以做分类也可以做回归。做分类使用基尼指数进行分割、做回归使用均方差进行分割。CART树做回归的过程最好直接找个例子看是怎么构建树的，李航统计学习里面有例子。大概思路是对所有特征所有可能分割点进行将数据进行分割，然后求取分割后数据的标签值求平均，然后求该标签上所有样本相对于该分堆数据上的平均值的方差和，然后找到其中使方差和最小的特征的最佳分割点，用该特正且最佳分割点进行分割。后面以此类推即可。

&&&&&&&&&&&&&&&&&
原来以前总结过，顺便贴上来。

SVR

简单看了一下，支持向量回归认为落在松弛化因子范围内的不进行误差计算，然后对其他的样本点进行计算方差最后拟合出相应的回归函数？支持向量机数学相对有点复杂，关键是如何将损失函数转化成凸函数求最值。麻烦，掌握用法就算了，大家一般都用XGB、LGB、CATBOOST 等，在进行简单调参的情况下就可以得到比较不错的结果了。