逻辑回归与决策树回归

逻辑回归

逻辑回归函数:

逻辑回归分析属于概率型回归分析方法。

• 假设在自变量xi1、xi2…xip的作用下，因变量y取值为1和0的二值变量，其取值为1的概率为pi，则可以表示为：

• 相反，y取值为0的概率即：

• 对y取值为1的概率与取值为0的概率的比值取自然对数：

• 即可得到逻辑回归函数：

优势比:

流行病学衡量危险因素作用大小的比例指标。
计算公式为：

逻辑回归例子

所以，手术时间大于5小时的感染率是手术时间小于或等于5小时的感染率的2.681倍

决策树回归:

决策树实际上是将空间用超平面进行划分的一种方法，每次分割的时候，都将当前的空间一分为二， 这样使得每一个叶子节点都是在空间中的一个不相交的区域，在进行决策的时候，会根据输入样本每一维特征的值，一步一步往下，最后使得样本落入N个区域中的一个（假设有N个叶子节点），如下图所示。

假如n个特征，每个特征有Si (i∈(1,n))个取值，则遍历所有特征，尝试该特征所有取值，对空间进行划分，直到取到特征j的取值s，使得损失函数最小，这样就得到了一个划分点。

决策树回归 —— 例子

每一次进行回归树生成时采用的训练数据r都是上次预测结果fm (x)与训练数据值yi之间的残差。这个残差会逐渐的减小。