数据挖掘特征处理之非数字特征转化及数据归一化处理
在数据分析中,我们希望得到的表中的字段为数值类型的,因为数字才能参与到后面的计算当中,但在实际工作中,往往事与愿违, 这时就需要用到数据特征转化了.
为了保证数据的实用性,我们一般不能直接给文本数据赋值,而是采用index来替换
代码如下:
cols = ['school', 'sex', 'address', 'famsize', 'Pstatus',
'Mjob', 'Fjob', 'reason', 'guardian',
'schoolsup', 'famsup', 'paid', 'activities', 'nursery',
'higher', 'internet', 'romantic']
for col in cols:
uni = data[col].unique()
def convert(item):
index = np.argwhere(uni == item)[0,0]
return index
data[col] = data[col].map(convert)
而标准化处理是指 值的范围浮动较大,会对数据的训练和测试结果产生影响,需要将其范围缩小到一定范围之间一般为 (x -min(x))/(max(x)-min(x))
代码为:
def changnum(x):
return (x - min(x))/(max(x) - min(x))
data[cols] = data[cols].transform(changnum)