LR,SVM,决策树的选择

训练集有多大?

数据集小:可选择高偏差/低方差的分类器。(低偏差/高方差的分类器(LR)更加容易过拟合)

数据集小:选择低偏差/高方差的分类器。这样可以训练出更加准确的模型。

Logistic回归(Logistic Regression, LR)

1、使用LR可以快速搭建出一个模型来(也不需要考虑样本是否相关),如果模型效果不怎么样,也可以得到一个基准。

2、如果想要通过调节概率阈值来分类的话,使用LR更加合适,而且相比于SVM以及决策树,LR更加具有可解释性,因此在业务场景中,会好用一些。

决策树(Decision Tree, DT)
1、DT是根据特征的分布进行分裂的,不需要担心离群点以及是否线性可分的问题。但是DT更容易过拟合一些。这也是随机森林,xgboost等集成学习等算法提出来的原因。

2、而且随机森林其实在很多分类问题中表现的还是很好的,速度快,不需要像SVM那样大量调参。所以也是可以尝试的。

支持向量机(Support Vector Machine, SVM)

1、SVM有很高的正确率,选取合适的核函数的话,对于很多线性不可分的问题表现也是很好。而且在维度很高的时候,比较好用。但是SVM对于时间以及内存的要求比较高。如果特征的数量和观测样本特别多,那么当资源和时间充足时,可以使用SVM进行尝试。

但是。。。

更好的数据往往比更好的算法更重要,提取好的特征也需要很大的功夫。==如果数据集非常大,那么分类算法的选择可能对最后的分类性能影响并不大(所以可以根据运行速度或者易用性来选择)。如果你很在意分类的正确率,那么你得尝试多种分类器,根据交叉验证的结果来挑选性能最好的。或者,使用某种集成的方法来组合多个分类器。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值