本文详细介绍了R语言中决策树和随机森林的实现与应用。首先讲解了特征生成和选择的重要性，包括过滤型、包装型和内嵌型方法。接着，深入探讨了决策树的构建原理，如熵、信息增益、剪枝和连续变量离散化。通过R包`rpart`展示了决策树的构建和修剪过程。然后，文章讨论了机器集成与随机森林的概念，强调其在提高分类精确度和稳健性方面的优势。最后，通过实例演示了如何使用`randomForest`包构建随机森林模型并评估其性能。
总结决策树之前先总结一下特征的生成和选择，因为决策树就是一种内嵌型的特征选择过程，它的特征选择和算法是融合在一起的，不需要额外的特征选择。
一、特征生成：
特征生成是指在收集数据之时原始数据就具有的数据特征，这些数据特征由收集的数据决定（其实也就是在产品定型时设定的需要收集的数据特征），当然，在数据预处理时，也可以在此基础上构造一些新的数据特征，这些特征越多越好，表示你考虑问题比较周全，具体那些变量有用或没用，这要交给下一步特征选择来决定。
二、特征选择
特征选择是指在原有数据特征的基础上，去除重要性比较低的特征变量，过滤出有用的特征变量。这里比较困难的是搞清楚什么样的特征比较重要？这需要根据具体的问题具体分析，有些变量的选择可以很直观的看出来，但这种直觉也不一定正确。对于常用特征选择方法主要有：过滤型、包装型、内嵌型。
过滤型：是指你可以根据某个统计量的大小排序来选择特征变量，如相关系数、p值、R值等
包装型：是指在一个特征集合中选取最优的特征子集。具体需要考虑：用什么样的算法来选取？选取的最优的标准是什么？
常用的算法是分步回归包括向前搜索、向后删除、双向搜索
向前搜索：每次选取一个能使模型预测或分类效果最好的特征变量进来，进来后不退出，直到模型改善效果不再明显；
向后删除：是指每次从特征全集中每次删除一个特征变量能使模型预测或分类效果最好，退出后不进来，直到模型改善效果不再明显；
双向搜索：是指每次每次删除一个特征变量或加入一个特征变量能使模型预测或分类效果最好，退出的不进来，进来的不退出，直到模型改善效果不再明显；
这里再提一下特征变量选择的几个标准：p值、R值、AIC（越小效果越好）、BIC（越小效果越好）、熵（越小效果越好）
内嵌型：这里应该主要就是像决策树这样的情况，算法内部完成特征变量的选取。
三、决策树
最低0.47元/天 解锁文章
扫一扫
236
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
