在数据中涉及到分类变量时会将字符串进行编码,编码的方式有很多,话不多说,直接上菜。
1. OneHotEncoder
onehot编码,将分类特征转化成one-hot数组。以iris数据为例。
from sklearn.datasets import load_iris
import pandas as pd
import numpy as np
iris = load_iris()
X,y = iris.data,iris.target
id_to_category = dict(zip(np.arange(iris.target_names.shape[0]),iris.target_names))
df_data = pd.DataFrame(X,columns=iris.feature_names)
df_data['target'] = pd.Series(y).map(id_to_category)
print("数据:")
print(df_data.head())
from sklearn.preprocessing import OneHotEncoder
onehot = OneHotEncoder(handle_unknown='ignore')
onehot_enc = onehot.fit_transform(df_data[['target']]).todense()
print("Categoty:",onehot.categories_)
print('*'*50)
print(onehot_enc[:5])
print('*'*50)
print(df_data['target'][:5])
2. LabelEncoder
LabelEncoder将目标标签转化成0-class-1。
from sklearn.datasets import load_iris
import pandas as pd
import numpy as np
iris = load_iris()
X,y = iris.data,iris.target
id_to_category = dict(zip(np.arange(iris.target_names.shape[0]),iris.target_names))
df_data = pd.DataFrame(X,columns=iris.feature_names)
df_data['target'] = pd.Series(y).map(id_to_category)
print("数据:")
print(df_data.head())
import warnings
warnings.filterwarnings('ignore')
from sklearn.preprocessing import LabelEncoder
label_enc = LabelEncoder()
label_encoder = label_enc.fit_transform(df_data[['target']])
print("类别标签:",label_enc.classes_)
print('*'*50)
print("Label Encoder:")
print(label_encoder)
3. get_dummies
pandas.get_dummies将数据中标签作为列名,与one-hot编码类似。
from sklearn.datasets import load_iris
import pandas as pd
import numpy as np
iris = load_iris()
X,y = iris.data,iris.target
id_to_category = dict(zip(np.arange(iris.target_names.shape[0]),iris.target_names))
df_data = pd.DataFrame(X,columns=iris.feature_names)
df_data['target'] = pd.Series(y).map(id_to_category)
print("原始数据:")
print(df_data['target'].head(5))
get_dummy = pd.get_dummies(df_data['target'])
print('*'*50)
print('get_dummies encode')
print(get_dummy.head(5))
在数据挖掘时,使用OneHotEncoder和LabelEncoder可以完成get_dummies的过程,相对来说get_dummies的效率更高,更方便。
在机器学习中,一般使用OneHotEncoder或LabelEncoder,可以应对未知的类别。
当然也有其他的方法,如numpy.where,Binarizer等。