数据挖掘特征处理之非数字特征转化及数据归一化处理

数据挖掘特征处理之非数字特征转化及数据归一化处理

在数据分析中,我们希望得到的表中的字段为数值类型的,因为数字才能参与到后面的计算当中,但在实际工作中,往往事与愿违, 这时就需要用到数据特征转化了.
为了保证数据的实用性,我们一般不能直接给文本数据赋值,而是采用index来替换
代码如下:

cols = ['school', 'sex', 'address', 'famsize', 'Pstatus',
       'Mjob', 'Fjob', 'reason', 'guardian', 
       'schoolsup', 'famsup', 'paid', 'activities', 'nursery',
       'higher', 'internet', 'romantic']
for col in cols:
    uni = data[col].unique()
    def convert(item):
        index = np.argwhere(uni == item)[0,0]
        return index
    data[col] = data[col].map(convert)

而标准化处理是指 值的范围浮动较大,会对数据的训练和测试结果产生影响,需要将其范围缩小到一定范围之间一般为 (x -min(x))/(max(x)-min(x))

代码为:

def changnum(x):
    return (x - min(x))/(max(x) - min(x))
data[cols] = data[cols].transform(changnum)

注意这里一定是用的transform 函数,不能用map()函数