XuJiuInChina的博客

GBDT一、概念文章目录一、概念二、算法原理2.1 原理2.2 算法流程2.3 目标函数2.4 梯度提升于梯度下降三、Python实现四、XGBoost4.1 概念4.2 区别与联系四、小结  GBDT(Gradient  Boosting  Decision  Tree)GBDT(Gradient \; Boosting \; Decision \;Tree)GBDT(GradientBoostingDecisionTree) 梯度提升决策树，是 Gradient  BoostingGradient

自适应增强一、概念AdaBoostAdaBoostAdaBoost 是 Boosting  MethodBoosting \; MethodBoostingMethod 类继承算法的典型代表，其全称是 Adaptive  BoostingAdaptive \; BoostingAdaptiveBoosting，即自适应增强。它与 Bagging  MethodBagging \; MethodBaggingMethod 类算法不同的是：它不是通过随机抽样产生每个基模型的训练集，而是通过调整训练集中每个样

随机森林文章目录一、概念二、构建2.1 影响随机森林分类性能的主要因素2.2 算法流程2.3 OOB2.4 算法特性三、Python实现一、概念  随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。  随机森林（Random  ForestRandom \; ForestRandomForest，简称 RFRFRF )是 BaggingBaggingBagging 的一个扩展变体。RFRFRF 在以决策树为基学习器构建 BaggingBaggingBagging

集成学习引入文章目录一、概念二、集成学习策略三、Bagging四、Boosting一、概念  面对一个机器学习问题，通常有两种策略。一种是研发人员尝试各种模型，选择其中表现最好的模型做重点调参优化。这种策略类似于比赛，通过强强竞争来选拔最优的运动员，并逐步提高成绩。另一种重要的策略是集各家之长，如同君主广泛的听取众多谋臣的建议，然后综合考虑，得到最终决策。后一种策略的核心，是将多个分类器的结果统一成一个最终的决策。使用这类策略的机器学习方法统称为集成学习。其中每个单独的分类器称为基分类器。#merm

朴素贝叶斯文章目录一、概念二、贝叶斯分类方法2.1 预测2.2 训练2.3 独立性假设2.4 特性三、高斯朴素贝叶斯3.1 引入3.2 Python实现四、多项式朴素贝叶斯五、伯努利朴素贝叶斯一、概念  朴素贝叶斯是应用贝叶斯定理进行有监督学习的一种分类模型。在该模型中，将贝叶斯定理公式 P(A∣B)=P(A)P(B∣A)P(B)P(A | B) = \frac{P(A) P(B|A)}{P(B)}P(A∣B)=P(B)P(A)P(B∣A)​ 中的事件 AAA 看成分类标签，事件 BBB 看出数据特征

决策树是一种非常成熟的算法，它是一种自上而下，对样本数据进行树形分类的过程，本文讲解了决策树的常见算法即在数学建模竞赛的应用。

SVM 是基于统计学习理论的一种机器学习方法。简单地说，就是将数据单元表示在多维空间中，然后在这个空间中对数据做划分的算法。

逻辑回归是一种很容易实现的分类模型，但仅在线性可分类上表现不错。是一种应用广泛的 二分类模型，而且可以利用 OVR 技术扩展到多元分类。