红酒分类案例中使用分箱处理

红酒分类案例中使用分箱处理

描述

在建立分类模型时，通常需要对连续特征进行离散化(Discretization)处理 ，特征离散化后，模型更加稳定，降低了过拟合风险。离散化也叫分箱(binning)，是指把连续的特征值划分为离散的特征值（划分为不同的箱子），比如把0-100分的考试成绩由连续数值转换为80以上、60~80之间、60以下三个分箱值（可以用0、1、2或独热编码表示），分箱后有助于提升分类模型的表现。

本任务的实践内容包括：

1、学习并熟悉Scikit-learn中的分箱处理类KBinsDiscretizer。

2、在红酒预测案例中引入分箱处理，对比分类模型的性能。

源码下载

环境

• 操作系统：Windows 10、Ubuntu18.04

• 工具软件：Anaconda3 2019、Python3.7

• 硬件环境：无特殊要求

• 依赖库列表

  scikit-learn	0.24.2
  numpy           1.19.5
  pandas          1.1.5
  ipython         7.16.3
  

分析

本任务涉及以下环节：

A）熟悉KBinsDiscretizer的参数及分箱策略

B）加载并观察红酒数据集

C）建立KNN分类模型，评估成绩

D）进行分箱预处理

E）对比模型在分箱后数据上的表现

实施

1、熟悉Scikit-learn的分箱功能

1、生成一组随机成绩

2、分别使用等宽、等频、聚类等策略以及独热编码方式进行分箱

from sklearn.preprocessing import KBinsDiscretizer
import numpy as np

# 随机生成一组成绩
np.random.seed(seed=1)
score = np.random.randint(0, 100, 12)
score.sort() # 排序
print(score)

# 等宽分箱（uniform），分4箱（n_bins），每个箱的数值宽度相同，数字顺序编码（ordinal）
bins =KBinsDiscretizer(n_bins=[4], encode='ordinal', strategy='uniform')
X = bins.fit_transform(score.reshape(-1, 1))
print(X.T)

# 等频分箱（uniform），分4箱（n_bins），每个箱的元素个数相同，数字顺序编码（ordinal）
bins =KBinsDiscretizer(n_bins=[4], encode='ordinal', strategy='quantile')
X = bins.fit_transform(score.reshape(-1, 1))
print(X.T)

# 聚类分箱（kmeans），分4箱，每个箱中的值到其1维K均值聚类簇心的距离相同，数字顺序编码（ordinal）
bins =KBinsDiscretizer(n_bins=[4], encode='ordinal', strategy='kmeans')
X = bins.fit_transform(score.reshape(-1, 1))
print(X.T)

# 等宽分箱（uniform），分4份（n_bins），每份数值宽度相同，独热编码（onehot）
bins =KBinsDiscretizer(n_bins=[4], encode='onehot', strategy='uniform')
X = bins.fit_transform(score.reshape(-1, 1))
print(X.toarray())

结果如下：

[ 1  5  9 12 16 37 64 71 72 75 76 79]
[[0. 0. 0. 0. 0. 1. 3. 3. 3. 3. 3. 3.]]
[[0. 0. 0. 1. 1. 1. 2. 2. 2. 3. 3. 3.]]
[[0. 0. 0. 0. 0. 1. 2. 2. 2. 3. 3. 3.]]
[[1. 0. 0. 0.]
 [1. 0. 0. 0.]
 [1. 0. 0. 0.]
 [1. 0. 0. 0.]
 [1. 0. 0. 0.]
 [0. 1. 0. 0.]
 [0. 0. 0. 1.]
 [0. 0. 0. 1.]
 [0. 0. 0. 1.]
 [0. 0. 0. 1.]
 [0. 0. 0. 1.]
 [0. 0. 0. 1.]]

2、加载查看红酒数据集

from sklearn.datasets import load_wine
from sklearn.model_selection import  train_test_split
from sklearn.neighbors import KNeighborsClassifier
from IPython.display import display
import pandas as pd

# 加载、查看wine数据集
wine = load_wine()
df = pd.DataFrame(wine.data, columns=wine.feature_names)
display(df)

结果如下：

3、对比分箱前后KNN分类模型的性能

# 不进行分箱处理，直接拆分并使用KNN建模
X_train, X_test, y_train, y_test = train_test_split(wine.data, wine.target, random_state=0) 
knn = KNeighborsClassifier(5).fit(X_train, y_train)
score = knn.score(X_test, y_test)
print('Score without bins: %0.2f'%score) # 输出成绩

# 先进行分箱处理，再拆分建模，对比模型成绩
bins =KBinsDiscretizer(n_bins=[7 for i in range(13)], encode='ordinal', strategy='uniform')
data_bins = bins.fit_transform(wine.data)

X_train_bins, X_test_bins, y_train, y_test = train_test_split(data_bins, wine.target, random_state=0)
knn = KNeighborsClassifier(5).fit(X_train_bins, y_train)
score = knn.score(X_test_bins, y_test)
print('Score with bin: %0.2f'%score)

结果如下：

Score without bins: 0.73
Score with bin: 0.98

对连续特征进行分箱离散化后，分类模型的性能提升明显。