1. 机器学习系列入门系列[七]:基于英雄联盟数据集的LightGBM的分类预测
本项目链接: https://www.heywhale.com/home/column/64141d6b1c8c8b518ba97dcc
1.1 LightGBM原理简介
LightGBM是2017年由微软推出的可扩展机器学习系统,是微软旗下DMKT的一个开源项目,它是一款基于GBDT(梯度提升决策树)算法的分布式梯度提升框架,为了满足缩短模型计算时间的需求,LightGBM的设计思路主要集中在减小数据对内存与计算性能的使用,以及减少多机器并行计算时的通讯代价。
LightGBM可以看作是XGBoost的升级豪华版,在获得与XGBoost近似精度的同时,又提供了更快的训练速度与更少的内存消耗。正如其名字中的Light所蕴含的那样,LightGBM在大规模数据集上跑起来更加优雅轻盈,一经推出便成为各种数据竞赛中刷榜夺冠的神兵利器。
LightGBM底层实现了GBDT算法,并且添加了一系列的新特性:
- 基于直方图算法进行优化,使数据存储更加方便、运算更快、鲁棒性强、模型更加稳定等。
- 提出了带深度限制的 Leaf-wise 算法,抛弃了大多数GBDT工具使用的按层生长 (level-wise) 的决策树生长策略,而使用了带有深度限制的按叶子生长策略,可以降低误差,得到更好的精度。
- 提出了单边梯度采样算法,排除大部分小梯度的样本,仅用剩下的样本计算信息增益,它是一种在减少数据量和保证精度上平衡的算法。
- 提出了互斥特征捆绑算法,高维度的数据往往是稀疏的,这种稀疏性启发我们设计一种无损的方法来减少特征的维度。通常被捆绑的特征都是互斥的(即特征不会同时为非零值,像one-hot),这样两个特征捆绑起来就不会丢失信息。
LightGBM是基于CART树的集成模型,它的思想是串联多个决策树模型共同进行决策。
那么如何串联呢?LightGBM采用迭代预测误差的方法串联。举个通俗的例子,我们现在需要预测一辆车价值3000元。我们构建决策树1训练后预测为2600元,我们发现有400元的误差,那么决策树2的训练目标为400元,但决策树2的预测结果为350元,还存在50元的误差就交给第三棵树……以此类推,每一颗树用来估计之前所有树的误差,最后所有树预测结果的求和就是最终预测结果!
LightGBM的基模型是CART回归树,它有两个特点:(1)CART树,是一颗二叉树。(2)回归树,最后拟合结果是连续值。
LightGBM模型可以表示为以下形式,我们约定 f t ( x ) f_t(x) ft(x)表示前 t t t颗树的和, h t ( x ) h_t(x) ht(x)表示第 t t t颗决策树,模型定义如下:
f t ( x ) = ∑ t = 1 T h t ( x ) f_{t}(x)=\sum_{t=1}^{T} h_{t}(x) ft(x)=∑t=1Tht(x)
由于模型递归生成,第 t t t步的模型由第 t − 1 t-1 t−1步的模型形成,可以写成:
f t ( x ) = f t − 1 ( x ) + h t ( x ) f_{t}(x)=f_{t-1}(x)+h_{t}(x) ft(x)=ft−1(x)+ht(x)
每次需要加上的树 h t ( x ) h_t(x) ht(x)是之前树求和的误差:
r t , i = y i − f m − 1 ( x i ) r_{t, i}=y_{i}-f_{m-1}\left(x_{i}\right) rt,i=yi−fm−1(xi)
我们每一步只要拟合一颗输出为 r t , i r_{t,i} rt,i的CART树加到 f t − 1 ( x ) f_{t-1}(x) ft−1(x)就可以了。
1.2 LightGBM的应用
LightGBM在机器学习与数据挖掘领域有着极为广泛的应用。据统计LightGBM模型自2016到2019年在Kaggle平台上累积获得数据竞赛前三名三十余次,其中包括CIKM2017 AnalytiCup、IEEE Fraud Detection等知名竞赛。这些竞赛来源于各行各业的真实业务,这些竞赛成绩表明LightGBM具有很好的可扩展性,在各类不同问题上都可以取得非常好的效果。
同时,LightGBM还被成功应用在工业界与学术界的各种问题中。例如金融风控、购买行为识别、交通流量预测、环境声音分类、基因分类、生物成分分析等诸多领域。虽然领域相关的数据分析和特性工程在这些解决方案中也发挥了重要作用,但学习者与实践者对LightGBM的一致选择表明了这一软件包的影响力与重要性。
2.相关流程
- 了解 LightGBM 的参数与相关知识
- 掌握 LightGBM 的Python调用并将其运用到英雄联盟游戏胜负预测数据集上
Part1 基于英雄联盟数据集的LightGBM分类实践
- Step1: 库函数导入
- Step2: 数据读取/载入
- Step3: 数据信息简单查看
- Step4: 可视化描述
- Step5: 利用 LightGBM 进行训练与预测
- Step6: 利用 LightGBM 进行特征选择
- Step7: 通过调整参数获得更好的效果
3.基于英雄联盟数据集的LightGBM分类实战
在实践的最开始,我们首先需要导入一些基础的函数库包括:numpy (Python进行科学计算的基础软件包),pandas(pandas是一种快速,强大,灵活且易于使用的开源数据分析和处理工具),matplotlib和seaborn绘图。
Step1:函数库导入
本次我们选择英雄联盟数据集进行LightGBM的场景体验。英雄联盟是2009年美国拳头游戏开发的MOBA竞技网游,在每局比赛中蓝队与红队在同一个地图进行作战,游戏的目标是破坏敌方队伍的防御塔,进而摧毁敌方的水晶枢纽,拿下比赛的胜利。
现在共有9881场英雄联盟韩服钻石段位以上的排位比赛数据,数据提供了在十分钟时的游戏状态,包括击杀数、死亡数、金币数量、经验值、等级……等信息。列blueWins是数据的标签,代表了本场比赛是否为蓝队获胜。
数据的各个特征描述如下:
特征名称 | 特征意义 | 取值范围 | ||
---|---|---|---|---|
WardsPlaced | 插眼数量 | 整数 | ||
WardsDestroyed | 拆眼数量 | 整数 | ||
FirstBlood | 是否获得首次击杀 | 整数 | ||
Kills | 击杀英雄数量 | 整数 | ||
Deaths | 死亡数量 | 整数 | ||
Assists | 助攻数量 | 整数 | ||
EliteMonsters | 击杀大型野怪数量 | 整数 | ||
Dragons | 击杀史诗野怪数量 | 整数 | ||
Heralds | 击杀峡谷先锋数量 | 整数 | ||
TowersDestroyed | 推塔数量 | 整数 | ||
TotalGold | 总经济 | 整数 | ||
AvgLevel | 平均英雄等级 | 浮点数 | ||
TotalExperience | 英雄总经验 | 整数 | ||
TotalMinionsKilled | 英雄补兵数量 | 整数 | ||
TotalJungleMinionsKilled | 英雄击杀野怪数量 | 整数 | ||
GoldDiff | 经济差距 | 整数 | ||
ExperienceDiff | 经验差距 | 整数 | ||
CSPerMin | 分均补刀 | 浮点数 | ||
GoldPerMin | 分均经济 | 浮点数 |
Step2:数据读取/载入
Step3:数据信息简单查看
<div>
<style scoped>
.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}
</style>
<table border=“1” class=“dataframe”>
<thead>
<tr style=“text-align: right;”>
<th></th>
<th>gameId</th>
<th>blueWins</th>
<th>blueWardsPlaced</th>
<th>blueWardsDestroyed</th>
<th>blueFirstBlood</th>
<th>blueKills</th>
<th>blueDeaths</th>
<th>blueAssists</th>
<th>blueEliteMonsters</th>
<th>blueDragons</th>
<th>…</th>
<th>redTowersDestroyed</th>
<th>redTotalGold</th>
<th>redAvgLevel</th>
<th>redTotalExperience</th>
<th>redTotalMinionsKilled</th>
<th>redTotalJungleMinionsKilled</th>
<th>redGoldDiff</th>
<th>redExperienceDiff</th>
<th>redCSPerMin</th>
<th>redGoldPerMin</th>
</tr>
</thead>
<tbody>
<tr>
<th>0</th>
<td>4519157822</td>
<td>0</td>
<td>28</td>
<td>2</td>
<td>1</td>
<td>9</td>
<td>6</td>
<td>11</td>
<td>0</td>
<td>0</td>
<td>…</td>
<td>0</td>
<td>16567</td>
<td>6.8</td>
<td>17047</td>
<td>197</td>
<td>55</td>
<td>-643</td>
<td>8</td>
<td>19.7</td>
<td>1656.7</td>
</tr>
<tr>
<th>1</th>
<td>4523371949</td>
<td>0</td>
<td>12</td>
<td>1</td>
<td>0</td>
<td>5</td>
<td>5</td>
<td>5</td>
<td>0</td>
<td>0</td>
<td>…</td>
<td>1</td>
<td>17620</td>
<td>6.8</td>
<td>17438</td>
<td>240</td>
<td>52</td>
<td>2908</td>
<td>1173</td>
<td>24.0</td>
<td>1762.0</td>
</tr>
<tr>
<th>2</th>
<td>4521474530</td>
<td>0</td>
<td>15</td>
<td>0</td>
<td>0</td>
<td>7</td>
<td>11</td>
<td>4</td>
<td>1</td>
<td>1</td>
<td>…</td>
<td>0</td>
<td>17285</td>
<td>6.8</td>
<td>17254</td>
<td>203</td>
<td>28</td>
<td>1172</td>
<td>1033</td>
<td>20.3</td>
<td>1728.5</td>
</tr>
<tr>
<th>3</th>
<td>4524384067</td>
<td>0</td>
<td>43</td>
<td>1</td>
<td>0</td>
<td>4</td>
<td>5</td>
<td>5</td>
<td>1</td>
<td>0</td>
<td>…</td>
<td>0</td>
<td>16478</td>
<td>7.0</td>
<td>17961</td>
<td>235</td>
<td>47</td>
<td>1321</td>
<td>7</td>
<td>23.5</td>
<td>1647.8</td>
</tr>
<tr>
<th>4</th>
<td>4436033771</td>
<td>0</td>
<td>75</td>
<td>4</td>
<td>0</td>
<td>6</td>
<td>6</td>
<td>6</td>
<td>0</td>
<td>0</td>
<td>…</td>
<td>0</td>
<td>17404</td>
<td>7.0</td>
<td>18313</td>
<td>225</td>
<td>67</td>
<td>1004</td>
<td>-230</td>
<td>22.5</td>
<td>1740.4</td>
</tr>
</tbody>
</table>
<p>5 rows × 40 columns</p>
</div>
<div>
<style scoped>
.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}
</style>
<table border=“1” class=“dataframe”>
<thead>
<tr style=“text-align: right;”>
<th></th>
<th>gameId</th>
<th>blueWins</th>
<th>blueWardsPlaced</th>
<th>blueWardsDestroyed</th>
<th>blueFirstBlood</th>
<th>blueKills</th>
<th>blueDeaths</th>
<th>blueAssists</th>
<th>blueEliteMonsters</th>
<th>blueDragons</th>
<th>…</th>
<th>redTowersDestroyed</th>
<th>redTotalGold</th>
<th>redAvgLevel</th>
<th>redTotalExperience</th>
<th>redTotalMinionsKilled</th>
<th>redTotalJungleMinionsKilled</th>
<th>redGoldDiff</th>
<th>redExperienceDiff</th>
<th>redCSPerMin</th>
<th>redGoldPerMin</th>
</tr>
</thead>
<tbody>
<tr>
<th>9874</th>
<td>4527873286</td>
<td>1</td>
<td>17</td>
<td>2</td>
<td>1</td>
<td>7</td>
<td>4</td>
<td>5</td>
<td>1</td>
<td>1</td>
<td>…</td>
<td>0</td>
<td>15246</td>
<td>6.8</td>
<td>16498</td>
<td>229</td>
<td>34</td>
<td>-2519</td>
<td>-2469</td>
<td>22.9</td>
<td>1524.6</td>
</tr>
<tr>
<th>9875</th>
<td>4527797466</td>
<td>1</td>
<td>54</td>
<td>0</td>
<td>0</td>
<td>6</td>
<td>4</td>
<td>8</td>
<td>1</td>
<td>1</td>
<td>…</td>
<td>0</td>
<td>15456</td>
<td>7.0</td>
<td>18367</td>
<td>206</td>
<td>56</td>
<td>-782</td>
<td>-888</td>
<td>20.6</td>
<td>1545.6</td>
</tr>
<tr>
<th>9876</th>
<td>4527713716</td>
<td>0</td>
<td>23</td>
<td>1</td>
<td>0</td>
<td>6</td>
<td>7</td>
<td>5</td>
<td>0</td>
<td>0</td>
<td>…</td>
<td>0</td>
<td>18319</td>
<td>7.4</td>
<td>19909</td>
<td>261</td>
<td>60</td>
<td>2416</td>
<td>1877</td>
<td>26.1</td>
<td>1831.9</td>
</tr>
<tr>
<th>9877</th>
<td>4527628313</td>
<td>0</td>
<td>14</td>
<td>4</td>
<td>1</td>
<td>2</td>
<td>3</td>
<td>3</td>
<td>1</td>
<td>1</td>
<td>…</td>
<td>0</td>
<td>15298</td>
<td>7.2</td>
<td>18314</td>
<td>247</td>
<td>40</td>
<td>839</td>
<td>1085</td>
<td>24.7</td>
<td>1529.8</td>
</tr>
<tr>
<th>9878</th>
<td>4523772935</td>
<td>1</td>
<td>18</td>
<td>0</td>
<td>1</td>
<td>6</td>
<td>6</td>
<td>5</td>
<td>0</td>
<td>0</td>
<td>…</td>
<td>0</td>
<td>15339</td>
<td>6.8</td>
<td>17379</td>
<td>201</td>
<td>46</td>
<td>-927</td>
<td>58</td>
<td>20.1</td>
<td>1533.9</td>
</tr>
</tbody>
</table>
<p>5 rows × 40 columns</p>
</div>
数据集正负标签数量基本相同,不存在数据不平衡的问题。
<div>
<style scoped>
.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}
</style>
<table border=“1” class=“dataframe”>
<thead>
<tr style=“text-align: right;”>
<th></th>
<th>blueWardsPlaced</th>
<th>blueWardsDestroyed</th>
<th>blueFirstBlood</th>
<th>blueKills</th>
<th>blueDeaths</th>
<th>blueAssists</th>
<th>blueEliteMonsters</th>
<th>blueDragons</th>
<th>blueHeralds</th>
<th>blueTowersDestroyed</th>
<th>…</th>
<th>redTowersDestroyed</th>
<th>redTotalGold</th>
<th>redAvgLevel</th>
<th>redTotalExperience</th>
<th>redTotalMinionsKilled</th>
<th>redTotalJungleMinionsKilled</th>
<th>redGoldDiff</th>
<th>redExperienceDiff</th>
<th>redCSPerMin</th>
<th>redGoldPerMin</th>
</tr>
</thead>
<tbody>
<tr>
<th>count</th>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>…</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
<td>9879.000000</td>
</tr>
<tr>
<th>mean</th>
<td>22.288288</td>
<td>2.824881</td>
<td>0.504808</td>
<td>6.183925</td>
<td>6.137666</td>
<td>6.645106</td>
<td>0.549954</td>
<td>0.361980</td>
<td>0.187974</td>
<td>0.051422</td>
<td>…</td>
<td>0.043021</td>
<td>16489.041401</td>
<td>6.925316</td>
<td>17961.730438</td>
<td>217.349226</td>
<td>51.313088</td>
<td>-14.414111</td>
<td>33.620306</td>
<td>21.734923</td>
<td>1648.904140</td>
</tr>
<tr>
<th>std</th>
<td>18.019177</td>
<td>2.174998</td>
<td>0.500002</td>
<td>3.011028</td>
<td>2.933818</td>
<td>4.064520</td>
<td>0.625527</td>
<td>0.480597</td>
<td>0.390712</td>
<td>0.244369</td>
<td>…</td>
<td>0.216900</td>
<td>1490.888406</td>
<td>0.305311</td>
<td>1198.583912</td>
<td>21.911668</td>
<td>10.027885</td>
<td>2453.349179</td>
<td>1920.370438</td>
<td>2.191167</td>
<td>149.088841</td>
</tr>
<tr>
<th>min</th>
<td>5.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>…</td>
<td>0.000000</td>
<td>11212.000000</td>
<td>4.800000</td>
<td>10465.000000</td>
<td>107.000000</td>
<td>4.000000</td>
<td>-11467.000000</td>
<td>-8348.000000</td>
<td>10.700000</td>
<td>1121.200000</td>
</tr>
<tr>
<th>25%</th>
<td>14.000000</td>
<td>1.000000</td>
<td>0.000000</td>
<td>4.000000</td>
<td>4.000000</td>
<td>4.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>…</td>
<td>0.000000</td>
<td>15427.500000</td>
<td>6.800000</td>
<td>17209.500000</td>
<td>203.000000</td>
<td>44.000000</td>
<td>-1596.000000</td>
<td>-1212.000000</td>
<td>20.300000</td>
<td>1542.750000</td>
</tr>
<tr>
<th>50%</th>
<td>16.000000</td>
<td>3.000000</td>
<td>1.000000</td>
<td>6.000000</td>
<td>6.000000</td>
<td>6.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>…</td>
<td>0.000000</td>
<td>16378.000000</td>
<td>7.000000</td>
<td>17974.000000</td>
<td>218.000000</td>
<td>51.000000</td>
<td>-14.000000</td>
<td>28.000000</td>
<td>21.800000</td>
<td>1637.800000</td>
</tr>
<tr>
<th>75%</th>
<td>20.000000</td>
<td>4.000000</td>
<td>1.000000</td>
<td>8.000000</td>
<td>8.000000</td>
<td>9.000000</td>
<td>1.000000</td>
<td>1.000000</td>
<td>0.000000</td>
<td>0.000000</td>
<td>…</td>
<td>0.000000</td>
<td>17418.500000</td>
<td>7.200000</td>
<td>18764.500000</td>
<td>233.000000</td>
<td>57.000000</td>
<td>1585.500000</td>
<td>1290.500000</td>
<td>23.300000</td>
<td>1741.850000</td>
</tr>
<tr>
<th>max</th>
<td>250.000000</td>
<td>27.000000</td>
<td>1.000000</td>
<td>22.000000</td>
<td>22.000000</td>
<td>29.000000</td>
<td>2.000000</td>
<td>1.000000</td>
<td>1.000000</td>
<td>4.000000</td>
<td>…</td>
<td>2.000000</td>
<td>22732.000000</td>
<td>8.200000</td>
<td>22269.000000</td>
<td>289.000000</td>
<td>92.000000</td>
<td>10830.000000</td>
<td>9333.000000</td>
<td>28.900000</td>
<td>2273.200000</td>
</tr>
</tbody>
</table>
<p>8 rows × 38 columns</p>
</div>
- 我们发现不同对局中插眼数和拆眼数的取值范围存在明显差距,甚至有前十分钟插了250个眼的异常值。
- 我们发现EliteMonsters的取值相当于Deagons + Heralds。
- 我们发现TotalGold 等变量在大部分对局中差距不大。
- 我们发现两支队伍的经济差和经验差是相反数。
- 我们发现红队和蓝队拿到首次击杀的概率大概都是50%
Step4:可视化描述
小提琴图 (Violin Plot)是用来展示多组数据的分布状态以及概率密度。这种图表结合了箱形图和密度图的特征,主要用来显示数据的分布形状。
从图中我们可以看出:
- 击杀英雄数量越多更容易赢,死亡数量越多越容易输(bluekills与bluedeaths左右的区别)。
- 助攻数量与击杀英雄数量形成的图形状类似,说明他们对游戏结果的影响差不多。
- 一血的取得情况与获胜有正相关,但是相关性不如击杀英雄数量明显。
- 经济差与经验差对于游戏胜负的影响较小。
- 击杀野怪数量对游戏胜负的影响并不大。
同时我们画出各个特征之间的相关性热力图,颜色越深代表特征之间相关性越强,我们剔除那些相关性较强的冗余特征。
我们画出了插眼数量的散点图,发现不存在插眼数量与游戏胜负间的显著规律。猜测由于钻石分段以上在哪插眼在哪好排眼都是套路,所以数据中前十分钟插眼数拔眼数对游戏的影响不大。所以我们暂时先把这些特征去掉。
我们发现击杀、死亡与助攻数的数据分布差别不大。但是击杀减去死亡、助攻减去死亡的分布与原分布差别很大,因此我们新构造这么两个特征。
从上图我们可以发现击杀数与死亡数与助攻数,以及我们构造的特征对数据都有较好的分类能力。
一些特征两两组合后对于数据的划分能力也有提升。
我们构造了两队之间是否拿到龙、是否拿到峡谷先锋、击杀大型野怪的数量差值,发现在游戏的前期拿到龙比拿到峡谷先锋更容易获得胜利。拿到大型野怪的数量和胜率也存在着强相关。
推塔是英雄联盟这个游戏的核心,因此推塔数量可能与游戏的胜负有很大关系。我们绘图发现,尽管前十分钟推掉第一座防御塔的概率很低,但是一旦某只队伍推掉第一座防御塔,获得游戏的胜率将大大增加。
Step5:利用 LightGBM 进行训练与预测
我们可以发现共有718 + 707个样本预测正确,306 + 245个样本预测错误。
Step7: 利用 LightGBM 进行特征选择
LightGBM的特征选择属于特征选择中的嵌入式方法,在LightGBM中可以用属性feature_importances_去查看特征的重要度。
总经济差距等特征,助攻数量、击杀死亡数量等特征都具有很大的作用。插眼数、推塔数对模型的影响并不大。
初次之外,我们还可以使用LightGBM中的下列重要属性来评估特征的重要性。
- gain:当利用特征做划分的时候的评价基尼指数
- split:是以特征用到的次数来评价
这些图同样可以帮助我们更好的了解其他重要特征。
Step8: 通过调整参数获得更好的效果
LightGBM中包括但不限于下列对模型影响较大的参数:
- learning_rate: 有时也叫作eta,系统默认值为0.3。每一步迭代的步长,很重要。太大了运行准确率不高,太小了运行速度慢。
- num_leaves:系统默认为32。这个参数控制每棵树中最大叶子节点数量。
- feature_fraction:系统默认值为1。我们一般设置成0.8左右。用来控制每棵随机采样的列数的占比(每一列是一个特征)。
- max_depth: 系统默认值为6,我们常用3-10之间的数字。这个值为树的最大深度。这个值是用来控制过拟合的。max_depth越大,模型学习的更加具体。
调节模型参数的方法有贪心算法、网格调参、贝叶斯调参等。这里我们采用网格调参,它的基本思想是穷举搜索:在所有候选的参数选择中,通过循环遍历,尝试每一种可能性,表现最好的参数就是最终的结果
原本有306 + 245个错误,现在有 287 + 230个错误,带来了明显的正确率提升。
3.1基本参数调整
-
num_leaves参数 这是控制树模型复杂度的主要参数,一般的我们会使num_leaves小于(2的max_depth次方),以防止过拟合。由于LightGBM是leaf-wise建树与XGBoost的depth-wise建树方法不同,num_leaves比depth有更大的作用。、
-
min_data_in_leaf 这是处理过拟合问题中一个非常重要的参数. 它的值取决于训练数据的样本个树和 num_leaves参数. 将其设置的较大可以避免生成一个过深的树, 但有可能导致欠拟合. 实际应用中, 对于大数据集, 设置其为几百或几千就足够了.
-
max_depth 树的深度,depth 的概念在 leaf-wise 树中并没有多大作用, 因为并不存在一个从 leaves 到 depth 的合理映射。
3.2针对训练速度的参数调整
- 通过设置 bagging_fraction 和 bagging_freq 参数来使用 bagging 方法。
- 通过设置 feature_fraction 参数来使用特征的子抽样。
- 选择较小的 max_bin 参数。
- 使用 save_binary 在未来的学习过程对数据加载进行加速。
3.3针对准确率的参数调整
- 使用较大的 max_bin (学习速度可能变慢)
- 使用较小的 learning_rate 和较大的 num_iterations
- 使用较大的 num_leaves (可能导致过拟合)
- 使用更大的训练数据
- 尝试 dart 模式
3.4针对过拟合的参数调整
- 使用较小的 max_bin
- 使用较小的 num_leaves
- 使用 min_data_in_leaf 和 min_sum_hessian_in_leaf
- 通过设置 bagging_fraction 和 bagging_freq 来使用 bagging
- 通过设置 feature_fraction 来使用特征子抽样
- 使用更大的训练数据
- 使用 lambda_l1, lambda_l2 和 min_gain_to_split 来使用正则
- 尝试 max_depth 来避免生成过深的树
4.总结
LightGBM的主要优点:
- 简单易用。提供了主流的Python\C++\R语言接口,用户可以轻松使用LightGBM建模并获得相当不错的效果。
- 高效可扩展。在处理大规模数据集时高效迅速、高准确度,对内存等硬件资源要求不高。
- 鲁棒性强。相较于深度学习模型不需要精细调参便能取得近似的效果。
- LightGBM直接支持缺失值与类别特征,无需对数据额外进行特殊处理
LightGBM的主要缺点:
- 相对于深度学习模型无法对时空位置建模,不能很好地捕获图像、语音、文本等高维数据。
- 在拥有海量训练数据,并能找到合适的深度学习模型时,深度学习的精度可以遥遥领先LightGBM。
本项目链接: https://www.heywhale.com/home/column/64141d6b1c8c8b518ba97dcc
参考链接: https://tianchi.aliyun.com/course/278/3424
本人最近打算整合ML、DRL、NLP等相关领域的体系化项目课程,方便入门同学快速掌握相关知识。声明:部分项目为网络经典项目方便大家快速学习,后续会不断增添实战环节(比赛、论文、现实应用等)。
- 对于机器学习这块规划为:基础入门机器学习算法—>简单项目实战—>数据建模比赛----->相关现实中应用场景问题解决。一条路线帮助大家学习,快速实战。
- 对于深度强化学习这块规划为:基础单智能算法教学(gym环境为主)---->主流多智能算法教学(gym环境为主)---->单智能多智能题实战(论文复现偏业务如:无人机优化调度、电力资源调度等项目应用)
- 自然语言处理相关规划:除了单点算法技术外,主要围绕知识图谱构建进行:信息抽取相关技术(含智能标注)—>知识融合---->知识推理---->图谱应用
上述对于你掌握后的期许:
- 对于ML,希望你后续可以乱杀数学建模相关比赛(参加就获奖保底,top还是难的需要钻研)
- 可以实际解决现实中一些优化调度问题,而非停留在gym环境下的一些游戏demo玩玩。(更深层次可能需要自己钻研了,难度还是很大的)
- 掌握可知识图谱全流程构建其中各个重要环节算法,包含图数据库相关知识。
这三块领域耦合情况比较大,后续会通过比如:搜索推荐系统整个项目进行耦合,各项算法都会耦合在其中。举例:知识图谱就会用到(图算法、NLP、ML相关算法),搜索推荐系统(除了该领域召回粗排精排重排混排等算法外,还有强化学习、知识图谱等耦合在其中)。饼画的有点大,后面慢慢实现。