数据离散化

数据离散化

• 时间数据离散化

将时间格式的数据（datatime）以固定转换方式进行转换。

这里转换为周数

#针对时间数据的离散化
df['datetime1']=pd.to_datetime(df['datetime']).apply(lambda x:x.weekday())
df.head()

• 多数据离散化

需要重新离散化数据时，重新划分区间

merge将指定列df和map_df按on中的值为参考合并

#对age的值域进行重构
map_df=pd.DataFrame([['0-10','0-40'],['10-20','0-40'],['20-30','0-40'],['30-40','0-40'],
                    ['40-50','40-80'],['50-60','40-80'],['60-70','40-80'],['70-80','40-80'],
                    ['80-90','>80'],['>90','>80']],columns=['age','age2'])
map_df
 
#离散化
df=pd.merge(df,map_df,how='inner',on=['age'])
df

• 自定义区间

在pandas中使用pd.qcut或者是pd.cut方法实现数据切割。

pd.qcut(data,q)的函数意义为：

data:需要被切割的数据。

q：需要切割多少个组。

自动分组

qcut = pd.qcut(df['字段'], 6)
qcut.value_counts()

自己指定切割的区间和数量。

这时候可以使用pd.cut实现。
pd.cut(data, bins)参数意义如下：

data：需要被切割的数据。
bins：切割的区间列表。

cut = pd.cut(df["字段"], bins=[-10, -5, 0, 5, 10, 15])
cut.value_counts()

#1、自定义分箱区间
#1)cut方法
bins=[0,200,1000,5000,10000]
df['amount1']=pd.cut(df['amount'],bins)
df
#2)digitize方法
bins=[0,200,1000,5000,10000]  #注意：bins数据是有要求的，bins内的数据一定要是降序或者升序的数据，不能是一堆无序数据。
indices=np.digitize(df['amount'],bins) #返回值为每个值所属区间的索引。
indices
df['amount2']=[str(bins[i-1])+"~"+str(bins[i]) for i in indices] 
df

• 独热编码（One-hot编码）离散化

One-Hot编码是将分类数据的所有项，全部都变成列，然后如果某一行中出现这一列，那么就标记为1，否则就标记为0。比如下图将左边的Category变为One-Hot编码后，会把Category中所有唯一的值都添加为新的列。

说口水话就是将一列数据所有可能出现的类别，弄成列名，如果第一行（按原数据的行数）出现了对应的类别，就在该类别下标上1，其余的都是0。这样就能把所有的类别弄成1000、0010、0001这种形式的。

弄成这种形式过后，使用欧式距离（sqrt(a²+b²)）计算出类别之间的距离

get_dummies将类别变量转为哑变量

我们看一下它的定义：

pandas.get_dummies(data, prefix=None, prefix_sep='_', dummy_na=False, columns=None, sparse=False, drop_first=False, dtype=None)

各参数的含义：

data: array-like, Series, DataFrame

prefix: string, list of strings, dict of strings, default None

prefix_sep: str, default ‘_’ (转换后列名的前缀)

dummy_na: bool, default False（增加一列表示空缺值，如果False就忽略空缺值）

columns: list-like, default None （指定需要实现类别转换的列名）

sparse: bool, default False

drop_first: bool, default False （获得k中的k-1个类别值，去除第一个）

dtype: dtype, default np.uint8

pd.get_dummies(df['Product'], prefix="Product")
# df['Product']中的元素前面以Product_列名的形式