机器学习笔记（5）-LightGBM

LightGBM 是一个高性能的梯度提升框架，由 Microsoft 开发，旨在处理大规模数据集并提高训练效率。与 XGBoost 相比，LightGBM 采用了不同的策略来优化训练速度和内存使用，使其在处理大规模数据集时具有显著优势。

一、目标函数

与xgboost算法一样。

二、LightGBM 的关键特性

1. 基于梯度的单边采样--GoSS（Gradient-based One-Side Sampling）

   GoSS 是 LightGBM 中用于减少数据量的一种策略。它通过保留所有大梯度的样本和随机采样一部分小梯度的样本，来降低数据集的大小，同时保持模型的准确性。这种方法可以显著加快训练速度，同时减少计算资源的需求。

2. 互斥特征捆绑--EFB（Exclusive Feature Bundling）

   EFB 是一种特征组合技术，用于减少特征的数量，从而减少树的分裂次数。LightGBM 通过将互斥的特征捆绑在一起，即那些很少同时取非零值的特征，来实现这一目标。这可以减少树的深度和宽度，进而加速训练过程。

3. 直方图算法--Histogram-based Algorithm

   LightGBM 使用直方图算法来加速特征分割点的选择。通过预先计算特征的直方图，可以快速找到最佳分割点，而无需遍历所有可能的分割点，这大大提高了构建树的速度。

4. 叶导向的树增长策略--Leaf-wise Tree Growth Strategy

   与 XGBoost 的层次生长策略不同，LightGBM 采用 leaf-wise 的生长策略，即优先分裂能够带来最大损失函数下降的叶子节点。这有助于更快地找到最佳的树结构，但也可能导致过拟合，因此 LightGBM 提供了多种正则化方法来控制模型复杂度。

5. 多核并行学习--Parallel Learning

   LightGBM 支持多核并行学习，可以在构建单棵树的过程中并行处理不同的叶子节点，进一步提高训练速度。

6. GPU 加速--GPU Acceleration

   LightGBM 还支持 GPU 加速，可以利用 GPU 的并行计算能力进一步提高训练速度，尤其是在处理大规模数据集时。

7. 正则化--Regularization

   LightGBM 提供了多种正则化选项，如 L1 和 L2 正则化，以及对叶子权重的正则化，来控制模型复杂度，防止过拟合。

三、LightGBM 的使用

LightGBM 提供了 Python、R 和 C++ 接口，使得它可以在多种编程环境中使用。它还支持多种损失函数，如二分类、多分类、回归等，以及自定义损失函数和评估指标。

示例代码：

import lightgbm as lgb
import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载数据集
data = load_breast_cancer()
X = data.data
y = data.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建LightGBM数据集
train_data = lgb.Dataset(X_train, label=y_train)
test_data = lgb.Dataset(X_test, label=y_test)

# 设置参数
params = {
    'objective': 'binary',       # 二分类问题
    'metric': 'binary_logloss',  # 评估指标为二分类的对数损失
    'num_leaves': 31,            # 叶子节点数
    'learning_rate': 0.05,
    'feature_fraction': 0.9,     # 随机特征采样比例
    'bagging_fraction': 0.8,     # 随机样本采样比例
    'bagging_freq': 5,           # bagging频率
    'verbose': -1                # 日志输出级别，-1表示不输出
}

# 训练模型
model = lgb.train(params, train_data, num_boost_round=100, valid_sets=test_data, early_stopping_rounds=10)

# 预测
y_pred = model.predict(X_test)
y_pred_class = np.round(y_pred)

# 评估
accuracy = accuracy_score(y_test, y_pred_class)
print("Accuracy:", accuracy)