数据挖掘算法原理与实践：数据预处理

第1关：标准化

任务描述
本关任务：利用sklearn对数据进行标准化。

相关知识
为了完成本关任务，你需要掌握：1.为什么要进行标准化，2.Z-score标准化，3.Min-max标准化，4.MaxAbs标准化。

# -*- coding: utf-8 -*-
from sklearn.preprocessing import scale,MaxAbsScaler,MinMaxScaler
#实现数据预处理方法
def Preprocessing(x,y):
    '''
    x(ndarray):处理 数据
    y(str):y等于'z_score'使用z_score方法
           y等于'minmax'使用MinMaxScaler方法
           y等于'maxabs'使用MaxAbsScaler方法
    '''
    #********* Begin *********#
    if y =='z_score':
           x = scale(x) 
    elif y =='minmax':
           scaler = MinMaxScaler()
           x = scaler.fit_transform(x)       
    else:
           scaler = MaxAbsScaler()
           x = scaler.fit_transform(x)   
    return x   
    #********* End *********#

第2关：非线性转换

任务描述
本关任务：利用sklearn对数据进行非线性转换。

相关知识
为了完成本关任务，你需要掌握：1.为什么要非线性转换，2.映射到均匀分布，3.映射到高斯分布。

为什么要非线性转换
在上一关中已经提到，对于大多数数据挖掘算法来说，如果特征不服从或者近似服从标准正态分布（即，零均值、单位标准差的正态分布）的话，算法的表现会大打折扣。非线性转换就是将我们的特征映射到均匀分布或者高斯分布(即正态分布)。

# -*- coding: utf-8 -*-
from sklearn.preprocessing import QuantileTransformer
import numpy as np
#实现非线性转换方法
def non_linear_transformation(x,y):
    '''
    x(ndarray):待处理数据
    y(int):y等于0映射到均匀分布
           y等于1映射到高斯分布
    '''
    #********* Begin *********#
    if y == 0:
        trans = QuantileTransformer(random_state=666)
        x = trans.fit_transform(x)
    if y == 1:
        trans = QuantileTransformer(output_distribution='normal',random_state=666)
        x = trans.fit_transform(x)
        x = np.around(x, decimals=3)
    return x;
    #********* End *********#

第3关：归一化

任务描述
本关任务：利用sklearn对数据进行归一化。

相关知识
为了完成本关任务，你需要掌握：1.为什么使用归一化，2.L1范式归一化，3.L2范式归一化。

# -*- coding: utf-8 -*-

from sklearn.preprocessing import normalize

#实现数据归一化方法
def normalization(x,y):
    '''
    x(ndarray):待处理数据
    y(int):y等于1则使用"l1"归一化
           y等于2则使用"l2"归一化
    '''
    #********* Begin *********#
    if y == 1:
           x = normalize(x, 'l1')
    if y == 2:
           x = normalize(x, 'l2')       
    return x;   
    #********* End *********#

第4关：离散值编码

任务描述
本关任务：利用sklearn对标签进行OneHot编码。

相关知识
为了完成本关任务，你需要掌握：1. LabelEncoder；2. OneHotEncoder。

# -*- coding: utf-8 -*-
import numpy as np
from sklearn.preprocessing import LabelEncoder,OneHotEncoder

def onehot_label(label):
    '''
    input:label(list):待处理标签
    output:lable(ndarray):onehot处理后的标签
    '''
    #********* Begin *********#
    int_label = LabelEncoder()
    label = int_label.fit_transform(label)
    label = np.array(label).reshape(len(label), 1)
    onehot_label = OneHotEncoder()
    label = onehot_label.fit_transform(label).toarray()
    return label
    #********* End *********#
    

第5关：生成多项式特征

任务描述
本关任务：利用sklearn生成多项式特征。

相关知识
为了完成本关任务，你需要掌握：1.为什么需要多项式特征；2.PolynomialFeatures。

# -*- coding: utf-8 -*-
from sklearn.preprocessing import PolynomialFeatures
def polyfeaturs(x,y):
    '''
    x(ndarray):待处理特征
    y(int):y等于0生成二项式特征
           y等于1生成二项式特征，只需要特征之间交互
    '''
    #********* Begin *********#
    if y == 0:
           poly = PolynomialFeatures(2)
    if y == 1:
           poly = PolynomialFeatures(degree=2, interaction_only=True)
    x = poly.fit_transform(x)
    return x             
    #********* End *********#
        

第6关：估算缺失值

任务描述
本关任务：利用sklearn对数据估算缺失值。

相关知识
为了完成本关任务，你需要掌握：1.为什么要估算缺失值，2.Imputer。

# -*- coding: utf-8 -*-
from sklearn.preprocessing import Imputer

def imp(x,y):
    '''
    x(ndarray):待处理数据
    y(str):y为'mean'则用取平均方式补充缺失值
           y为'meian'则用取中位数方式补充缺失值
           y为'most_frequent'则用出现频率最多的值代替缺失值        
    '''
    #********* Begin *********#
    imp = Imputer(missing_values='NaN', strategy=y, axis=0)
    x = imp.fit_transform(x)
    return x
    #********* End *********#