python 卡方分箱算法_特征工程 - 分箱

卡方分箱

python自帶分箱函數  --  無法實現對分類型數據的分箱，可借助卡方分箱算法實現

import numpy as np

import pandas as pd

data = np.random.randint(100, size=(10000,))

#自定義分箱

#cut(x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False, duplicates='raise')

pd.cut(data, bins=[0, 10, 20, 50, 70, 100], right=False)

#等寬分箱

pd.cut(data, bins=5, right=False, labels=range(5))

#等頻分箱

#qcut(x, q, labels=None, retbins=False, precision=3, duplicates='raise')

pd.qcut(data, q=5, labels=range(5))

#等頻分箱 - 老版本重復值過多報錯問題

'''該代碼傾向於將重復值全划分到更高的組，自帶的qcut則傾向於將其划分到更低的組'''

def pct_rank_qcut(series, n):

'''

series：要分箱的列

n：箱子數

'''

edages = pd.Series(range(1,n+1))/n #轉換成百分比

func = lambda x: (edages >= x).argmax() #返回列表中第一次出現true的索引值

return series.rank(pct=1).astype(float).apply(func) #百分位數,返回組下標，數據類型若為object，結果會有問題，因此進行了astype