树模型与线性模型的区别在于:
(一)树模型
①树模型产生可视化的分类规则,可以通过图表表达简单直观,逐个特征进行处理,更加接近人的决策方式
②产生的模型可以抽取规则易于理解,即解释性比线性模型强。
③树模型拟合出来的函数其实是分区间的阶梯函数。
④在训练过程中,树模型需要计算特征属性的信息增益或信息增益率等度量,从而确定哪个属性对目标最有益,即有最强区分样本的能力。
⑤一般特征空间复杂,无法用线性表达时使用树模型来解决问题。
(二)线性模型
①线性模型是对所有特征赋予权重后相加得到一个新的值。
②通常能够获得更高的预测精度,预测方差比树模型低。
③线性模型拟合出来的函数则可以是任意曲线。
④在训练过程中,线性模型使用简单公式通过一组数据点找到最佳拟合。
⑤一般当特征和标签可以通过线性方式得到较好拟合则使用线性模型解决问题。
在此基础上,决策树分类与逻辑回归分类的区别为:
①逻辑回归是将所有特征变换为概率后,通过大于某一概率阈值的划分为一类,小于某一概率阈值的为另一类;决策树是对每一个特征做一个划分。
②逻辑回归着眼于整个数据集的拟合,对数据整体的全局结构的分析优于决策树,但缺乏探查局部结构的机制;而决策树采用分隔的方法,能够深入数据内部,对局部结构的分析优于逻辑回归,但一旦分层形成将切断不同层面节点间可能存在的关系。
③逻辑回归通常情况下不需要考虑数据量的问题;而决策树由于切分,节点数目增多样本数量