在将数据加载到 LightGBM 的 Dataset
中时,减少内存占用,提升效率的优化建议:
1. 分块处理数据
import lightgbm as lgb
# 假设你已经有一部分数据处理完毕并存放在内存或 memmap 中
train_data = lgb.Dataset(data=None, label=None, free_raw_data=False)
batch_size = 100000 # 根据系统内存大小调整
for start_idx in range(0, total_samples, batch_size):
end_idx = min(start_idx + batch_size, total_samples)
data_block = load_data_block(start_idx, end_idx) # 自定义函数来加载数据块
label_block = load_label_block(start_idx, end_idx) # 自定义函数来加载标签块
# 将每个数据块添加到 Dataset 中
temp_data = lgb.Dataset(data_block, label=label_block, free_raw_data=False)
if train_data.data is None:
train_data = temp_data
else:
train_data.add_features_from(temp_data)
2. 使用内存映射 (Memmap) 和文件缓存
可以使用 numpy.memmap
或者将数据存放在磁盘中,通过 LightGBM
的 Dataset
提供的 construct
和 free_raw_data
参数实现内存优化。
import numpy as np
import lightgbm as lgb
# 使用 memmap 加载数据
data_memmap = np.memmap('data.dat', dtype='float32', mode='r', shape=(total_samples, num_features))
labels_memmap = np.memmap('labels.dat', dtype='float32', mode='r', shape=(total_samples,))
# 将 memmap 数据加载到 LightGBM Dataset 中
train_data = lgb.Dataset(data_memmap, label=labels_memmap, free_raw_data=True)
3. 使用 LightGBM 的原生数据格式
LightGBM 支持将数据保存为二进制文件 (.bin
格式),加载 .bin
文件比加载 CSV 或者 NumPy 数组要快得多,且内存占用更少。
# 将数据保存为 LightGBM 的二进制格式
train_data.save_binary('train_data.bin')
# 以后加载时,直接加载二进制文件
train_data = lgb.Dataset('train_data.bin')
4. 考虑增量学习
# 假设你有一个训练好的模型
gbm = lgb.Booster(model_file='model.txt')
for start_idx in range(0, total_samples, batch_size):
end_idx = min(start_idx + batch_size, total_samples)
data_block = load_data_block(start_idx, end_idx)
label_block = load_label_block(start_idx, end_idx)
train_data = lgb.Dataset(data_block, label=label_block, free_raw_data=False)
# 增量训练
gbm.update(train_data)
5. 按需加载和内存管理
def data_generator(file_paths):
for file_path in file_paths:
data = np.load(file_path)
yield data
# 使用生成器逐块加载数据并进行训练
for data_block in data_generator(file_paths):
label_block = get_labels_for_block(data_block)
train_data = lgb.Dataset(data_block, label=label_block, free_raw_data=False)
# 训练或更新模型
if gbm is None:
gbm = lgb.train(params, train_data, ...)
else:
gbm.update(train_data)
6. 利用 LightGBM 的分布式训练
如果有多个计算节点,可以使用 LightGBM 的分布式训练