LR、SVM、RF、GBDT、XGBoost和LightGbm比较

最新推荐文章于 2023-07-07 10:44:28 发布
最新推荐文章于 2023-07-07 10:44:28 发布
阅读量7.2k 收藏 38
点赞数 6
文章标签： 人工智能 数据结构与算法 大数据
原文链接：http://www.cnblogs.com/x739400043/p/10098659.html
版权

正则化

seq0

seq0

L1范数

seq0

蓝色的是范数的解空间,红色的是损失函数的解空间.L2范数和损失函数的交点处一般在坐标轴上,会使\(\beta=0\),当然并不一定保证交于坐标轴,但是通过实验发现大部分可以得到稀疏解.

L2范数

seq0

蓝色的是范数的解空间;红色的是损失函数的解空间.当两个空间相交时得到目标函数的一个解. 增加了正则化项后,随着r的不断增加,原始的解空间会被不断压缩, 如果选择的\(\lambda\), 可以将最优点压缩到\(\tilde{\beta}\),从而得到复杂程度最小的模型. L2范数和损失函数的交点处所得到的参数\(\beta\)可以无限小,但是不一定会等于0.

Lasso回归

拉索回归(lasso回归)本质上是针对线性回归问题引入了L1范数正则，通过缩减回归系数避免过拟合问题，其不同于L2范数，其可以将某些系数缩减为0即所谓的具备稀疏性(稀疏性的好处是简化计算、容易理解模型、减少存储空间、不容易出现过拟合等等．

L1范数罚有一个问题：由于|X|函数在0处不可导，故而直接使用最小二乘法、梯度下降法等方法均失效，但是由于其为第一类间断点中的可去间断点，可以通过补充该点的定义解决，通常，对于线性回归中的lasso回归可以采用近似的前向逐步回归，坐标轴下降法替代。

Ridge

岭回归本质上是针对线性回归问题引入了L2范数正则，通过缩减回归系数避免过拟合问题，最先用来处理特征数多于样本数的情况(高维小样本问题).

Logistic regression

总括

LR回归使用sigmoid函数，将线性模型 wTx 的结果压缩到[0,1] 之间，使其拥有概率意义。其本质还是一个线性模型，实现相对简单。

原理

逻辑斯蒂回归函数, 样本为正类的概率,样本为负类的概率. 样本的概率.
用极大似然函数求解, 损失函数是交叉熵, 最后求导等于普通的MSE求导的式子.

优化方法

梯度下降法实现相对简单，但是其收敛速度往往不尽人意。所以在LR回归的实际算法中，用到的是牛顿法，拟牛顿法（DFP、BFGS、L-BFGS）。

进一步优化--带正则化的LR

最大似然估计法没有考虑训练集以外的因素，很容易造成过拟合,为了解决过拟合问题，通过添加正则化项，控制模型的复杂程度。常用的有L1和L2正则化.
L1会是特征的权重系数为0，相当于是删除对应的特征；L2会保留原始的特征，但是特征的权重参数会很小。

QA

  • 为什么使用正则化?
      因为使用极大似然估计,模型会全力拟合数据,容易出现过拟合现象.
  • 为什么一般使用L2正则化?
      因为L2正则化只会使函数的某些参数缩小,降低这些参数的作用. 但是如果直接使用L1正则化会使参数直接为0, 会极大降低模型的效果. 所以一般我们选择更温和的L2正则化.

优点

  1. 计算代价不高，对时间和内存需求较小,很适合大数据.(推荐系统)
  2. 使用梯度下降的优化算法可以用于分布式系统，并且还有在线算法实现，用较少的资源处理大型数据。(推荐系统)
  3. LR对于数据中小噪声的鲁棒性很好，并且不会受到轻微的多重共线性的特别影响。（严重的多重共线性则可以使用逻辑回归结合L2正则化来解决，但是若要得到一个简约模型，L2正则化并不是最好的选择，因为它建立的模型涵盖了全部的特征。）

缺点

sigmoid函数的缺点。预测结果呈“S”型，因此从log(odds)向概率转化的过程是非线性的，在两端随着​log(odds)值的变化，概率变化很小，边际值太小，slope太小，而中间概率的变化很大，很敏感。导致很多区间的变量变化对目标概率的影响没有区分度，无法确定阀值。

这段出现错误的原因是LR的优化方式是\(y_i-\tilde{y_i}，使用梯度下降法就得到结果，根本和sigmoid函数没有关系\)

  1. 不适应数据缺失，特征空间很大的数据
  2. 因为w表示各个特征的权重,一旦特征过多,很容易过拟合.
    过拟合的真正原因是使用极大似然估计,没有考虑除了当前数据之外的数据,所以容易过拟合.

应用

在CTR预估问题的发展初期，使用最多的方法就是逻辑回归(LR)，LR使用了Sigmoid变换将函数值映射到0~1区间，映射后的函数值就是CTR的预估值。LR属于线性模型，容易并行化，可以轻松处理上亿条数据，但是学习能力十分有限，需要大量的特征工程来增加模型的学习能力。但大量的特征工程耗时耗力同时并不一定会带来效果提升。因此，如何自动发现有效的特征、特征组合，弥补人工经验不足，缩短LR特征实验周期，是亟需解决的问题。FM模型通过隐变量的方式，发现两两特征之间的组合关系，但这种特征组合仅限于两两特征之间，后来发展出来了使用深度神经网络去挖掘更高层次的特征组合关系。但其实在使用神经网络之前，GBDT也是一种经常用来发现特征组合的有效思路。

用LR做点击率预估时，通常将连续特征离散化，并对离散化的特征进行One-Hot编码，最后对特征进行二阶或者三阶的特征组合，目的是为了得到非线性的特征,这样做的优势有以下几点:

最低0.47元/天 解锁文章
weixin_30299709
关注
  • 6
    点赞
  • 踩
  • 38
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
C/C++ smo算法详解及源码
希望我的博客，能帮上你解决学习中工作中所遇到的问题
06-16 4420
SMO（Sequential Minimal Optimization）算法是一种用于解决二分类支持向量机（SVM）的优化算法。它的主要思想是将大规模的优化问题分解为多个小规模的优化子问题，并通过迭代求解这些子问题来逼近全局最优解。下面是使用C语言实现SMO算法的示例代码：（假设已经有训练数据集和相关的数据结构）
GBDT、RF、SVM、XGBoost面试要点整理
God_68的博客
08-19 8825
对于经典机器学习算法，是所有从事相关工作者必须了解的，同时也是面试官经常提及的问题。下面我将与大家分享GBDT（Gradient Boosting Decision Tree）、RF（Random Forest）、SVM（Support Vector Machine）、XGBoost四种机器学习算法的面试考核点。若有错误，欢迎大家批评指正！！！ 一、GBDT算法 1、算法简介 GBDT，梯度...
常用数据分类算法原理介绍、优缺点分析与代码实现[LR/RF/DT/SVM/NavieBayes/GBDT/XGBoost/DNN/LightGBM等]
Together_CZ的博客
07-07 2730
常用数据分类算法原理介绍、优缺点分析与代码实现[LR/RF/DT/SVM/NavieBayes/GBDT/XGBoost/DNN/LightGBM等]
模型调参经验-LR、SVM、RF、GBDT、Xgboost、LightGBM
tunghao的博客
01-15 4845
LR SVM Xgboost CNN LSTM
AI面试题 ： SVM+XGBoost+CNN+RNN/LSTM+HMM等
idol24的博客
11-23 409
这是一个为高潜力人才买单的时代，任何公司都不例外。之所以有人能拿高薪、享受一切令人眼馋的待遇，全都因为他值得。前段时间整理了一些大厂面试题，今天免费分享给大家，希望能帮到你！（限于篇幅，...
逻辑回归，决策树，SVM,随机森林，GBDT,Xgboost,lightGBM的评分效果观察
weixin_41370083的博客
06-13 1537
https://blog.csdn.net/weixin_41710583/article/details/85016622
机器学习中的数据清洗与特征处理综述
baidu_18891025的博客
09-12 818
1、采样： 分类问题：选取正例，负例，比例确定。 回归问题：评测样本的大致分布，根据目标制定采样规则；采样的方法包括随机采样，固定比例采样等方法 2、数据清洗 结合业务情况进行数据的过滤 去除crawler抓取，spam，作弊等数据 3、特征分类 根据不同的分类方法，可以将特征分为(1)Low level特征和High level特征。(2)稳定特征与动态特征。(3)二值特征、连续特征、枚举特征。 Low level特征是较低级别的特征，主要是原始特征，不需要或者需要非常少的人工处理和干预，例如文
基于Lasso特征提取和多种机器学习模型的债券违约预测研究：GBDT性能最佳与特征工程的重要性
05-07
运用Lasso回归进行特征提取后，输入带L2惩罚项LR、SVM、NN、GBDT、RF等机器学习模型进行违约预测，得出GBDT预测效果最好以及特征工程对线性模型预测效果具有重要性的结论。 数据收集与整理： 收集2017年7月17日之前...
决赛经验1
08-03
在模型构建中，参赛者尝试了线性模型和非线性模型，如逻辑回归（LR）、支持向量机（SVM）、随机森林（RF）、梯度提升决策树（GBDT）、XGBoost和LightGBM（LGB）。部分选手还尝试了Catboost模型，这可能是因为其对...
python sklearn常用分类算法模型的调用
12-25
实现对’NB’, ‘KNN’, ‘LR’, ‘RF’, ‘DT’, ‘SVM’,’SVMCV’, ‘GBDT’模型的简单调用。 # coding=gbk import time from sklearn import metrics import pickle as pickle import pandas as pd # ...
基于numpy实现的经典常用机器学习库python源码（含项目说明+超详细注释）.zip
最新发布
05-31
- SVM - Neural network - GBDT - Xgboost - Adaboost 回归模型 - LASSO - Ridge - LR - RF - Decision Tree(ID3,C4.5,CART) - GBDT - Xgboost 非监督模型 - PCA - Kmeans - SVD - LDA(topic model) 概率模型 - ...
leetcode积分怎么用--:——
07-06
11、LR和SVM的区别 12、Gini系数、信息增益、信息增益率的公式 13、CART回归和分类时节点如何划分的 14、决策树将一个特征全部乘以2会有什么影响 15、反向传播算法的推导 16、贝叶斯原理 17、L_BFGS，DFP推导 18、...
RF, GBDT和Xgboost构造新特征+LR融合的原理及实践
热门推荐
anshuai_aw1的博客
10-09 1万+
关于Xgboost的知识点很多，本篇博客介绍如何利用Xgboost构造新特征，且在此基础上，介绍与LR模型融合的相关知识点。 目录 一、原理 二、实践 2.1 如何获得样本落在哪个叶子节点 2.2 举例 2.2.1 训练集准备 2.2.2 RF+LR 2.2.3 GBDT+LR 2.2.4 Xgboost+LR 2.2.5 单独使用RF,GBDT和Xgboost 2.2.6 ...
机械学习模型训练常用代码（随机森林、聚类、逻辑回归、svm、线性回归、lasso回归，岭回归）
THREEFUCT的博客
04-14 1371
机械学习模型训练常用代码（特征工程、随机森林、聚类、逻辑回归、svm、线性回归、lasso回归，岭回归）
使用sklearn对比各种机器学习方法：SVM，XGBoost...
yimenren的博客
10-11 2352
sklearn常用机器学习算法总结（附python代码） - 简书 (jianshu.com)https://www.jianshu.com/p/641707e4e72c 注意：在使用XGBoost算法的时候，需要将X_train,y_train等Tensor类型变量数据类型置为nd array类型，而其他算法可以直接使用Tensor数据类型，即： features = features.numpy() labels = labels.numpy() idx_train = idx_train.nu.
RF,XGBOOST,LR,SVM比较
zoey0_00的博客
08-09 1391
RandomForest 随机森林 随机森林由多棵决策树组成，并且每棵决策树都是独立的。树结构模型在构建时主要耗时在建立模型和剪枝的过程，由于树模型的结构比较直观，所以后期的分类过程比较快。但决策树模型比较容易发生过拟合，而随机森林模型可以弥补决策树的这一不足，在训练决策树模型时随机放回抽取训练样本，并且随机分裂决策树节点属性，由于以上两点随机，使得在构建模型时特征参数的相关性降低并且达到收敛到局部最优而不是全局最优，从而不容易出现过拟合。随机森林在决策时使用了Bagging的方式，即少数服从多数的原理进
随机森林RF、XGBoost、GBDT和LightGBM的原理和区别
古月哲亭
07-25 1537
随机森林RF、XGBoost、GBDT和LightGBM的原理和区别 https://www.cnblogs.com/hugechuanqi/p/10554156.html
2021年8月11日 记录5个模型（逻辑回归、SVM、决策树、随机森林、XGBOOST）关于ACCURACY、PRECISION，RECALL和F1-SCORE、AUC值的评分表格，并画出ROC曲线。
weixin_41724971的博客
08-11 392
数据集下载地址： 链接:https://pan.baidu.com/s/1eAxEpYv5jtZahDuGCIkGrw提取码: 1024 import pandas as pd import numpy as np from sklearn.impute import SimpleImputer from sklearn.preprocessing import OrdinalEncoder from sklearn.model_selection import train_test_split f..
随机森林，SVM 和XGBoost分类模型比较
04-27
随机森林、支持向量机（SVM）和XGBoost都是常用的分类模型，它们在不同的场景下有各自的优势和适用性。 随机森林是一种集成学习方法，它由多个决策树组成。每个决策树都是基于随机选择的特征子集进行训练，最后通过投票或平均的方式来进行分类。随机森林具有以下特点： 1. 随机性：通过随机选择特征子集和样本子集进行训练，减少了过拟合的风险。 2. 高效性：可以并行处理，适用于大规模数据集。 3. 鲁棒性：对于缺失值和异常值具有较好的鲁棒性。 支持向量机（SVM）是一种二分类模型，其目标是找到一个最优的超平面来将不同类别的样本分开。SVM具有以下特点： 1. 非线性分类：通过使用核函数，SVM可以处理非线性可分的数据。 2. 泛化能力强：SVM通过最大化间隔来选择最优超平面，具有较好的泛化能力。 3. 对于高维数据有效：SVM在高维空间中表现良好，适用于特征维度较高的数据。 XGBoost是一种梯度提升树模型，它通过迭代地训练多个决策树来进行分类。XGBoost具有以下特点： 1. 高准确性：XGBoost通过优化损失函数，能够得到较高的预测准确性。 2. 高效性：XGBoost使用了一些优化技巧，如特征并行和近似算法，提高了训练和预测的效率。 3. 对于不平衡数据集有效：XGBoost通过设置样本权重和调整阈值等方式，能够处理不平衡数据集。 综上所述，随机森林适用于大规模数据集和高维数据，SVM适用于非线性分类和高维数据，XGBoost适用于高准确性和不平衡数据集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值