自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 收藏
  • 关注

翻译 lightgbm 原理解析

任务内容:LightGBM算法梳理LightGBMLightGBM的起源gbdt是受欢迎的机器学习算法,当特征维度很高或数据量很大时,有效性和可拓展性没法满足。lightgbm提出GOSS(Gradient-based One-Side Sampling)和EFB(Exclusive Feature Bundling)进行改进。lightgbm与传统的gbdt在达到相同的精确度时,快20倍...

2019-08-15 21:08:21 428

原创 xgboost算法梳理

任务内容:1. XGB算法梳理XGB在GBDT的基础上,以二分类问题为例,损失函数为,其中,根据泰勒展开可得前向可加算法,t轮的预测与t-1轮预测的关系如下,其中ft(x)为t轮的预测函数,在XGB中即为决策树。损失函数为可变化如下:其中为复杂程度的惩罚项,上式根据泰勒二阶展开式可进一步展开为(注:GBDT按照泰勒一阶展开式):其中,由于是t-1轮的损失函数,当迭代到t轮时,可...

2019-08-12 20:59:01 307

原创 随机森林算法梳理——任务1

任务内容:随机森林算法梳理集成学习的概念集成学习的关键点(中心极限定理):让弱学习器相互独立(算法不同、使用的训练数据不同、使用的特征不同)。理想状态下,25个弱学习器中,一个弱学习器的误差率为0.35,强学习器的误差率为0.06。增加更多的基分类器基分类器应当好于随机猜测分类器,即误差率小于50%集成学习中基学习器的误差率不能超过50%,否则组合分类器的误差率会大于50%个体...

2019-08-07 20:59:09 141

原创 datawhale_1

import pandas as pdimport numpy as npimport warningswarnings.filterwarnings(‘ignore’)pd.set_option(‘display.max_columns’, None)alldata = pd.read_csv(r’D:\data\datawhale\data.csv’, encoding=‘gbk’)...

2019-08-06 21:49:12 202

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除