LibLinear使用总结(L1,L2正则)

liblinear实践初步

在相关推荐项目的改版中,对liblinear/fm/xgboost等主流成熟算法模型的训练效果进行了尝试和对比,并在一期改造中选择了liblinear实际上线使用。本文主要从工程应用的角度对liblinear涉及的各模式进行初步介绍,并给出liblinear/fm/xgboost的实际评测结果供参考。 (参考自http://blog.csdn.net/ytbigdata/article/details/52909685)

1.      Liblinear说明

考虑到训练效率,本次选用的为多线程并行版liblinear,实际为liblinear-multicore-2.1-4,首先直接给出其train命令所支持的各模式说明,各模式选择不仅与我们使用liblinear工具直接相关,也对我们理解liblinear很有帮助,下面即主要围绕这些模式展开。

ParallelLIBLINEAR is only available for -s0, 1, 2, 3, 11 now

Usage:train [options] training_set_file[model_file]

options:

-s type : set typeof solver (default 1)

  formulti-class classification  (dual对偶的, primal 原始的)

        0 -- L2-regularized logisticregression (primal)  ---逻辑回归

        1 -- L2-regularized L2-losssupport vector classification (dual) ---线性svm

        2 -- L2-regularized L2-loss supp

  • 4
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
这些术语都与机器学习中的支持向量机(SVM)算法相关。 1. RBF(径向基函数):RBF是SVM中一种常用的核函数,用于将输入数据映射到高维特征空间。它可以帮助SVM在非线性问题上取得更好的效果。 2. Poly(多项式):Poly是SVM中另一种常用的核函数,它通过多项式的方式将输入数据映射到高维特征空间。它也可以用于处理非线性问题。 3. Solver(求解器):在SVM中,求解器是用于解决优化问题的算法。不同的求解器具有不同的优化策略和性能特点。 4. Penalty(惩罚项):在SVM中,惩罚项用于控制模型的复杂度。它通过平衡分类错误和决策边界间隔的权重来影响模型的训练结果。 5. L1L1正则化):L1正则化是一种常用的正则化方法,用于在SVM中加入惩罚项。它可以使得模型更加稀疏,即对于某些特征,其权重为0,从而实现特征选择的效果。 6. L2L2正则化):L2正则化也是一种常用的正则化方法,在SVM中同样可以用于加入惩罚项。与L1正则化不同,L2正则化会使得模型的权重接近于0,但不会等于0,因此不具备特征选择的效果。 7. Liblinear(线性模型求解器):Liblinear是一个常用的线性模型求解器,适用于处理大规模线性模型问题。它支持L1L2正则化,并且具有较好的性能和可扩展性。 8. Lbfgs(拟牛顿法):Lbfgs是一种常用的拟牛顿法优化算法,在SVM中可以作为求解器使用。它通过估计目标函数的梯度信息来迭代优化模型参数。 9. Kernel(核函数):核函数是SVM中用于将输入数据映射到高维特征空间的方法。常见的核函数包括RBF和Poly等。 10. Gamma(核函数参数):Gamma是核函数中的一个参数,用于控制样本点对最终决策边界的影响程度。较小的Gamma值会使得决策边界更加平滑,而较大的Gamma值会使得决策边界更加关注训练样本点。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值