自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(6)
  • 收藏
  • 关注

原创 组合优化基础

组合优化问题(一)@TOCp问题,NP问题,NP完全问题,NP难问题时间复杂度并不是表示一个程序解决问题需要画多少时间,而是当程序所处理的问题规模扩大后,程序需要的时间对应增长的有多快。时间复杂度时间复杂度可以分为多项式复杂度和非多项式级复杂度多项式复杂度O(1), O(ln n), O(n^a)等非多项式级复杂度O(a^n), O(n!)等为非多项式级复杂度,其计算复杂度计算机往往不能承受。P问题(Polynomial-time problem)(能解决)P类:能在多项式时间(Poly

2021-09-29 17:07:32 340

原创 基于决策树的各种集成方法总结(一)

基于决策树的各种集成方法的总结1.NP问题与NPC问题2.决策树3.集成方法4.随机森林5.Adaboost与GBDT算法5.1Adaboost5.2GBDT5.3总结6.过拟合问题6.1产生过拟合的原因6.2解决方法(这里只针对决策树来考虑)几种避免决策树中过拟合的方法:Adaboost算法的正则化:GDBT算法的解决过拟合的方法:7. RF、Adaboost、GBDT三种方法的优缺点对比7.1...

2019-05-28 17:16:06 3693

原创 LightGBM算法梳理

LightGBM算法梳理1.LightGBM2.LightGBM的起源XGBoost与LightGBM对比3.Histogram VS pre-sorted4.leaf-wise VS level-wise5.特征并行和数据并行6.顺序访问梯度7.支持类别特征8.sklearn参数1.LightGBMLightGBM是个快速的,分布式的,高性能的基于决策树算法的梯度提升框架. 可用于排序,分类...

2019-05-20 14:07:00 746

原创 XGboost算法梳理

AdaBoost算法1.提升方法的基本思想提升方法基于这样一种思想: 对于一个复杂任务来说, 将多个专家的判断进行适当的综合所得出的判断, 要比其中任何一个专家单独的判断好. 对于分类问题而言, 给定一个训练样本集, 求比较粗糙的分类规则(弱分类器)要比求精确的分类规则(强分类器)容易的多. 提升方法就是从弱学习算法出发, 反复学习, 得到一系列弱分类器(基本分类器), 然后组合这些弱分类器,...

2019-05-17 19:17:50 630

原创 GBDT算法梳理

GBDT算法梳理1.前向分布算法2.负梯度拟合3.损失函数二分类问题中的损失函数回归问题中的损失函数4.回归5.二分类,多分类二元分类多元分类6.GBDT的正则化7.优缺点8.sklearn参数9.应用场景1.前向分布算法考虑加法模型在给定训练数据及损失函数L(y,f(x))的条件下, 学习加法模型f(x)称为经验极小化即损失函数极小化问题:上述问题是一个复杂的优化问题. 前向分布算法(...

2019-05-14 19:17:19 198

原创 集成学习

1.什么是个体学习器?个体学习器是由一个现有的学习算法从训练数据中产生的分类器.如:C4.5决策树算法、BP神经网络算法等.2.什么是集成学习?集成学习的概念通过构建并结合多个学习器来实现学习任务, 又称为multi_classifer system, committee_based learning. 集成学习的一般结构: 先产生一组"个体学习器", 再用某种策略将他们结合起来. 示意图...

2019-05-12 15:18:32 146

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除