yyy430的博客

目录1. 集成学习概念2. Boosting流程3. Bagging流程4. 结合策略(平均法，投票法，学习法)平均法投票法学习法5. 随机森林思想6. 随机森林的推广extra treesTotally Random Trees Embedding7. 优缺点优点缺点8. 主要调参的参数9. sklearn.ensemble...

目录1. XGBoost2.CART树2.1 优缺点2.2 分裂依据2.2.1 分类2.2.2 回归2.3总结2.4 参考3. 算法原理3.1 定义树的复杂度3.2 打分函数计算示例3.3 分裂结点3.3.1 贪心法3.3.2 近似算法3.3.3 分布式加权直方图算法（Weighted Quantile Sketch）4. 损失函数...

参考资料：https://mp.weixin.qq.com/s/mr83EK24S94b_UUlecyqlA 线性回归对异常值非常敏感 多项式拟合如果指数选择不当，容易过拟合。 岭回归标准线性或多项式回归在特征变量之间存在很高的共线性（high collinearity，比如变量x1与x2之间存在函数关系）的情况下将失败。共线性是自变量之间存在近似线性关系，你所...

参考资料：https://blog.csdn.net/column/details/16415.html KNNsklearn.neighbors.KNeighborsClassifierKNneighborsClassifier参数说明：n_neighbors：默认为5，就是k-NN的k的值，选取最近的k个点。 weights：默认是uniform，参数可以是unifo...

目录1、GBDT2、GBDT思想3、负梯度拟合4、损失函数4.1、分类4.2、回归5、GBDT回归算法6、GBDT分类算法6.1、二分类6.2、多分类7、正则化8、RF与GBDT之间的区别与联系9、优缺点优点缺点10、应用场景11、主要调参的参数12、sklearn.ensemble.GradientBoostingClass...