- 博客(6)
- 收藏
- 关注
RSS订阅原创 组合优化基础
组合优化问题（一）@TOCp问题，NP问题，NP完全问题，NP难问题时间复杂度并不是表示一个程序解决问题需要画多少时间，而是当程序所处理的问题规模扩大后，程序需要的时间对应增长的有多快。时间复杂度时间复杂度可以分为多项式复杂度和非多项式级复杂度多项式复杂度O(1), O(ln n), O(n^a)等非多项式级复杂度O(a^n), O(n!)等为非多项式级复杂度，其计算复杂度计算机往往不能承受。P问题（Polynomial-time problem）（能解决）P类：能在多项式时间（Poly
2021-09-29 17:07:32
343
原创 基于决策树的各种集成方法总结（一）
基于决策树的各种集成方法的总结1.NP问题与NPC问题2.决策树3.集成方法4.随机森林5.Adaboost与GBDT算法5.1Adaboost5.2GBDT5.3总结6.过拟合问题6.1产生过拟合的原因6.2解决方法（这里只针对决策树来考虑）几种避免决策树中过拟合的方法:Adaboost算法的正则化:GDBT算法的解决过拟合的方法:7. RF、Adaboost、GBDT三种方法的优缺点对比7.1...
2019-05-28 17:16:06
3703
原创 LightGBM算法梳理
LightGBM算法梳理1.LightGBM2.LightGBM的起源XGBoost与LightGBM对比3.Histogram VS pre-sorted4.leaf-wise VS level-wise5.特征并行和数据并行6.顺序访问梯度7.支持类别特征8.sklearn参数1.LightGBMLightGBM是个快速的，分布式的，高性能的基于决策树算法的梯度提升框架. 可用于排序，分类...
2019-05-20 14:07:00
749
原创 XGboost算法梳理
AdaBoost算法1.提升方法的基本思想提升方法基于这样一种思想: 对于一个复杂任务来说, 将多个专家的判断进行适当的综合所得出的判断, 要比其中任何一个专家单独的判断好. 对于分类问题而言, 给定一个训练样本集, 求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易的多. 提升方法就是从弱学习算法出发, 反复学习, 得到一系列弱分类器（基本分类器）, 然后组合这些弱分类器,...
2019-05-17 19:17:50
630
原创 GBDT算法梳理
GBDT算法梳理1.前向分布算法2.负梯度拟合3.损失函数二分类问题中的损失函数回归问题中的损失函数4.回归5.二分类,多分类二元分类多元分类6.GBDT的正则化7.优缺点8.sklearn参数9.应用场景1.前向分布算法考虑加法模型在给定训练数据及损失函数L(y,f(x))的条件下, 学习加法模型f(x)称为经验极小化即损失函数极小化问题:上述问题是一个复杂的优化问题. 前向分布算法（...
2019-05-14 19:17:19
199
原创 集成学习
1.什么是个体学习器？个体学习器是由一个现有的学习算法从训练数据中产生的分类器.如：C4.5决策树算法、BP神经网络算法等.2.什么是集成学习？集成学习的概念通过构建并结合多个学习器来实现学习任务, 又称为multi_classifer system, committee_based learning. 集成学习的一般结构: 先产生一组"个体学习器", 再用某种策略将他们结合起来. 示意图...
2019-05-12 15:18:32
146
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人