机器学习 - 特征预处理 - 分箱

分箱（Binning）是一种数据预处理技术，将连续变量分割成离散的组别或区间，有助于减少数据的噪音，提高模型的稳定性。以下是五种常见的分箱方法及其详细介绍：

1. 卡方分箱（Chi-square Binning）

过程

1. 初始化分箱：将每个不同的数值作为一个单独的箱。
2. 计算卡方值：两两合并相邻的箱，计算每对合并后的卡方统计量。
3. 合并箱：选择卡方值最小的两个箱进行合并。
4. 重复步骤2和3，直到达到预定的箱数或卡方值超过阈值。

特点

• 基于类别变量的频率进行分箱。
• 可以处理非线性关系。
• 适用于目标变量为分类变量的情况。

代码示例

import numpy as np
import pandas as pd
from scipy.stats import chi2_contingency

def chi_merge(data, target, max_intervals):
    data = data.copy()
    intervals = np.unique(data)
    while len(intervals) > max_intervals:
        chi_values = []
        for i in range(len(intervals) - 1):
            df_temp = pd.DataFrame({'x': data, 'y': target})
            df_temp = df_temp[(df_temp['x'] >= intervals[i]) & (df_temp['x'] < intervals[i + 2])]
            contingency_table = pd.crosstab(df_temp['x'], df_temp['y'])
            chi2 = chi2_contingency(contingency_table)[0]
            chi_values.append(chi2)
        min_index = np.argmin(chi_values)
        intervals = np.delete(intervals, min_index + 1)
    return intervals

# 示例数据
data = np.array([1, 2, 2, 3, 4, 4, 5, 6, 6, 7, 8])
target = np.array([0, 0, 1, 0, 1, 1, 0, 1, 1, 0, 0])
intervals = chi_merge(data, target, 4)
print("卡方分箱结果：", intervals)

2. 决策树分箱（Decision Tree Binning）

过程

1. 训练决策树模型：使用特征变量和目标变量训练决策树模型。
2. 生成分箱规则：通过决策树的分裂节点生成分箱区间。
3. 应用分箱规则：将特征变量按生成的规则进行分箱。

特点

• 基于决策树模型进行分箱，适用于处理非线性和复杂关系。
• 适用于目标变量为分类或回归变量的情况。
• 结果受决策树模型参数影响较大。

代码示例

import numpy as np
import pandas as pd
from sklearn.tree import DecisionTreeClassifier

def dt_binning(data, target, max_leaf_nodes):
    tree = DecisionTreeClassifier(max_leaf_nodes=max_leaf_nodes)
    tree.fit(data.reshape(-1, 1), target)
    thresholds = tree.tree_.threshold[tree.tree_.threshold != -2]
    thresholds = np.sort(thresholds)
    return thresholds

# 示例数据
data = np.array([1, 2, 2, 3, 4, 4, 5, 6, 6, 7, 8])
target = np.array([0, 0, 1, 0, 1, 1, 0, 1, 1, 0, 0])
thresholds = dt_binning(data, target, max_leaf_nodes=4)
print("决策树分箱结果：", thresholds)

3. 等频分箱（Quantile Binning）

过程

1. 排序：将数据按从小到大排序。
2. 分割：根据分位数将数据划分为等频的区间。

特点

• 每个箱包含相同数量的数据点。
• 对数据分布不均的数据也能进行均衡分箱。
• 易于实现。

代码示例

import numpy as np
import pandas as pd

def quantile_binning(data, num_bins):
    quantiles = np.percentile(data, np.linspace(0, 100, num_bins + 1))
    return quantiles

# 示例数据
data = np.array([1, 2, 2, 3, 4, 4, 5, 6, 6, 7, 8])
quantiles = quantile_binning(data, num_bins=4)
print("等频分箱结果：", quantiles)

4. 等距分箱（Equal-width Binning）

过程

1. 计算区间宽度：根据数据的最小值和最大值，计算等宽区间的宽度。
2. 分割：根据计算的宽度将数据划分为等宽的区间。

特点

• 每个箱的宽度相同。
• 对数据分布不均的数据可能导致某些箱数据较少。
• 简单易实现。

代码示例

import numpy as np

def step_binning(data, num_bins):
    min_val, max_val = np.min(data), np.max(data)
    step = (max_val - min_val) / num_bins
    bins = np.arange(min_val, max_val, step)
    bins = np.append(bins, max_val)
    return bins

# 示例数据
data = np.array([1, 2, 2, 3, 4, 4, 5, 6, 6, 7, 8])
bins = step_binning(data, num_bins=4)
print("等距分箱结果：", bins)

5. KMeans分箱（KMeans Binning）

过程

1. 初始化KMeans模型：选择分箱数作为KMeans聚类的簇数。
2. 训练模型：使用数据训练KMeans模型。
3. 生成分箱规则：根据KMeans模型的簇心生成分箱区间。

特点

• 基于聚类算法进行分箱，适用于数据集中存在明显簇结构的情况。
• 对数据分布的要求较高，适用于聚类效果较好的场景。
• 算法较为复杂，计算量大。

代码示例

import numpy as np
import pandas as pd
from sklearn.cluster import KMeans

def kmeans_binning(data, num_bins):
    kmeans = KMeans(n_clusters=num_bins)
    kmeans.fit(data.reshape(-1, 1))
    centers = np.sort(kmeans.cluster_centers_.flatten())
    bins = np.concatenate(([data.min()], centers, [data.max()]))
    return bins

# 示例数据
data = np.array([1, 2, 2, 3, 4, 4, 5, 6, 6, 7, 8])
bins = kmeans_binning(data, num_bins=4)
print("KMeans分箱结果：", bins)

总结

分箱方法	优点	缺点	特点	适用场景
卡方分箱	- 能处理非线性关系	- 计算复杂度高，参数选择困难	- 基于类别变量频率	目标变量为分类变量的情况
决策树分箱	- 适用于处理复杂和非线性关系	- 结果受决策树参数影响大	- 基于决策树模型	目标变量为分类或回归变量的情况
等频分箱	- 每个箱包含相同数量的数据点	- 对数据分布不均的情况不适用	- 数据均匀分布	数据分布不均时平衡分箱
等距分箱	- 简单易实现	- 对数据分布不均的情况不适用	- 每个箱的宽度相同	数据分布均匀或需要均匀分割数据的情况
KMeans分箱	- 适用于存在明显簇结构的数据	- 计算复杂度高，适用场景有限	- 基于聚类算法	数据集中存在明显簇结构的情况

常见问题及解决方案

1. 数据分布不均

问题：数据分布不均匀，导致某些分箱内的数据量过少或过多。
解决方案：使用等频分箱（Quantile Binning）来确保每个箱中数据量相对均匀。

2. 箱数选择

问题：确定合适的分箱数量（箱数）可能会比较困难。
解决方案：可以通过交叉验证或根据业务需求来确定最佳的分箱数量。也可以根据经验规则，如Sturges’ rule或Scott’s rule。

3. 边界值处理

问题：边界值可能会导致某些数据点落在箱的边界上，不确定应该归入哪个箱。
解决方案：采用开闭区间策略，明确规定边界值属于哪个箱。例如，左开右闭区间(a, b]。

4. 目标变量影响

问题：目标变量（分类或回归）的分布对分箱结果影响较大。
解决方案：对于分类问题，使用卡方分箱（Chi-square Binning）或决策树分箱（Decision Tree Binning）；对于回归问题，选择等频分箱或等距分箱。

5. 处理异常值

问题：异常值可能会导致某些分箱的分布不均。
解决方案：在分箱之前进行异常值处理，可以通过截尾法（Winsorization）或删除异常值。

6. 类别变量分箱

问题：类别变量如何进行分箱。
解决方案：将类别变量转化为数值变量后进行分箱，或采用针对类别变量的卡方分箱（Chi-square Binning）。

7. 动态分箱

问题：数据集在不同时间段会发生变化，需要动态调整分箱策略。
解决方案：定期重新计算分箱边界，或使用基于滑动窗口的方法进行动态分箱。

8. 高维数据分箱

问题：高维数据进行分箱时计算复杂度高。
解决方案：采用降维技术，如PCA（主成分分析），然后对降维后的数据进行分箱。

9. 信息损失

问题：分箱可能导致信息损失，尤其是在精细度要求较高的情况下。
解决方案：尽量选择适当的分箱方法，并控制分箱数量，以平衡信息损失和模型复杂度。

10. 分箱边界选择的随机性

问题：分箱方法（如KMeans分箱）的结果可能具有随机性。
解决方案：设置随机种子以确保结果可重复，或者多次运行取平均结果。

代码示例：解决部分问题

import numpy as np
import pandas as pd
from sklearn.preprocessing import KBinsDiscretizer
from scipy.stats import chi2_contingency

# 等频分箱示例
def quantile_binning(data, num_bins):
    quantiles = np.percentile(data, np.linspace(0, 100, num_bins + 1))
    return quantiles

# 处理异常值示例
def remove_outliers(data, lower_percentile=0.05, upper_percentile=0.95):
    lower_bound = np.percentile(data, lower_percentile * 100)
    upper_bound = np.percentile(data, upper_percentile * 100)
    return data[(data >= lower_bound) & (data <= upper_bound)]

# 动态分箱示例
def dynamic_binning(data, target, num_bins, window_size):
    bins_list = []
    for i in range(0, len(data) - window_size + 1, window_size):
        window_data = data[i:i + window_size]
        window_target = target[i:i + window_size]
        bins = quantile_binning(window_data, num_bins)
        bins_list.append(bins)
    return bins_list

# 示例数据
data = np.array([1, 2, 2, 3, 4, 4, 5, 6, 6, 7, 8, 100])  # 包含异常值
target = np.array([0, 0, 1, 0, 1, 1, 0, 1, 1, 0, 0, 1])

# 移除异常值
clean_data = remove_outliers(data)

# 等频分箱
quantiles = quantile_binning(clean_data, num_bins=4)
print("等频分箱结果：", quantiles)

# 动态分箱
bins_list = dynamic_binning(data, target, num_bins=4, window_size=5)
print("动态分箱结果：", bins_list)

更多问题咨询

Cos机器人