本文探讨了逻辑回归和决策树在分类问题上的差异。逻辑回归对整体结构分析更强，擅长线性关系，但易受极端值影响；决策树则擅长局部结构，能处理缺失值，对非线性关系把握好，且对极端值不敏感。两者在应用上有不同，逻辑回归可提供每个观察点的概率，决策树则将人口分为有限概率组群。实践中，可通过嫁接模型结合两者的优点。
营销预测模型的目标变量很多为一种状态或类型，如客户“买”还是“不买”、客户选择上网方式为 “宽带”还是“拨号”、营销战通道是邮件、电话、还是网络。我们把这类问题统称为 “分类”。决策树和逻辑回归都是解决“分类”问题的高手。用不同的算法解答同样的问题，自然引出了两者孰优孰劣的讨论，但迄今为止，仍然没有一个明确的结论。出现这种情况是意料之中的，因为两者的具体表现取决于数据状况和挖掘人员的水平。从算法本身看，决策树和回归各有优势，因此最好的应用不是两者择一，而是相互取舍，利用一方的长处弥补另一方的不足。
在进一步讨论之前，让我们来看一下逻辑回归和决策树的主要差别。
有些分歧是表面的，例如决策树可以对付缺失值，而逻辑回归需要挖掘人员预先对缺失数据进行处理。但实际上决策树同样要对缺失值做出某种假设和处理。例如CART在遇到一个变量中有缺失情况时，是用次级变量进行替换切分。这种做法在逻辑回归中也可以办到，但需要单独的编程。而在决策树中，这一步已经嵌入软件的算法引擎。
从实质上看，决策树和逻辑回归的分歧是：1．逻辑回归对数据整体结构的分析优于决策树，而决策树对局部结构的分析优于逻辑回归。2．逻辑回归擅长分析线性关系，而决策树对线性关系的把握较差。虽然对付非线性关系是决策树的强项，但是很多非线性关系完全可以用线性关系作为近似，而且效果很好。线性关系在实践中有很多优点：简洁，易理解，可以在一定程度上防止对数据的过度拟合。3．逻辑回归对极值比较敏感，容易受极端值的影响，而决策树在这方面表现较好。
两者的差别主要来自算法逻辑。决策树由于采用分割的方法，所以能够深入数据细部，但同时失去了对全局的把握。一个分层一旦形成，它和别的层面或节点的关系就被切断了，以后的挖掘只能
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
