参考代码
kaggle泰坦尼克入门,分别使用了线性回归、逻辑回归和随机森林三种算法。
链接如下:
https://www.jianshu.com/p/bbfbdedc3c1c
随机森林算法介绍
决策树-Gini不纯度
决策树算法有缺陷,当我们需要区分的特征很多时,需要引入Gini不纯度来表示结果的可靠性。
鉴于决策树容易过拟合的缺点,随机森林采用多个决策树的投票机制来改善决策树。
随机森林的生成方法:
1.从样本集中通过重采样的方式产生n个样本
2.假设样本特征数目为a,对n个样本选择a中的k个特征,用建立决策树的方式获得最佳分割点
3.重复m次,产生m棵决策树
4.多数投票机制来进行预测
(需要注意的一点是,这里m是指循环的次数,n是指样本的数目,n个样本构成训练的样本集,而m次循环中又会产生m个这样的样本集)
链接如下:
https://blog.csdn.net/mao_xiao_feng/article/details/52728164#commentBox