【python】pd.get_dummies进行one-hot编码

离散特征的编码分为两种情况:

1、离散特征的取值之间没有大小的意义,比如color:[red,blue],那么就使用one-hot编码

2、离散特征的取值有大小的意义,比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}

常用于统计建模或机器学习的转换方式是:将分类变量(categorical variable)转换为“哑变量矩

阵”(dummy matrix)或“指标矩阵”(indicator matrix)。如果DataFrame的某一列中含有k个不同的

值,则可以派生出一个k列矩阵或DataFrame(其值全为1和0)。

使用pandas可以很方便的对离散型特征进行one-hot编码:

import pandas as pd  
df = pd.DataFrame([  
            ['green', 'M', 10.1, 'class1'],   
            ['red', 'L', 13.5, 'class2'],   
            ['blue', 'XL', 15.3, 'class1']],columns = ['color', 'size', 'prize', 'class label'])  

size_mapping = {  
           'XL': 3,  
           'L': 2,  
           'M': 1}  
#print(df)
#Series的map函数,将对应的values替代为size_mapping的数值。
df['size'] = df['size'].map(size_mapping)  
#print(set(df['class label']))
#set函数去重
#for idx,label in enumerate(set(df['class label'])):
#    print(idx,label)
class_mapping = {label:idx for idx,label in enumerate(set(df['class label']))} 
#print(class_mapping)
#在原df的条件下,更改color为不同的color_X,并去除原来的color 
df['class label'] = df['class label'].map(class_mapping)  

print(pd.get_dummies(df))
print(df)

'''
pd.get_dummies(df['size'],prefix = 'sss') 是对具体的某个列的不同数据 进行one-hot编码,
prefix指定生成的列表头名称'sss_1\sss_2\sss_3'有几类就有几个'sss'列

如果pd.get_dummies(df)进行编码的对象不是Series对象,对整个dataframe对象来说的话,
prefix不用指定,且会根据原columns的表头名称生成全部的非数字化的


'''
#如果用下面的方法,则会产生新的df,不是在原df的条件下,更改color,返回的仍然是df类型
df = pd.get_dummies(df['size'],prefix = 'sss')
'''
在量化实践中,一般会将收益标签添加到df整体中,然后从中取出来;
如果多分类标签,结合上述格式的pd.get_dummies正好将收益分类标签生成one-hot形式。
''' 
print(df)

dff = pd.DataFrame({'key': ['b', 'b', 'a', 'c', 'a', 'b'],'data1': range(6)})

print(pd.get_dummies(dff['key']))
'''
     a    b    c
0  0.0  1.0  0.0
1  0.0  1.0  0.0
2  1.0  0.0  0.0
3  0.0  0.0  1.0
4  1.0  0.0  0.0
5  0.0  1.0  0.0
'''

说明:对于有大小意义的离散特征,直接使用映射就可以了,{‘XL’:3,’L’:2,’M’:1}

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值