数据特征预处理

一、特征工程

        数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。

        特征工程包括：特征使用（数据选择，可用性）、特征获取（特征来源，特征存储）、特征处理（数据清洗，特征预处理）、特征监控（现有特征、新特征）

二、数据清洗

样本采集（抽样）：样本要具有代表性，样本比例要平衡以及不平衡时应如何处理，考虑全量数据

异常值（空值）处理：1.识别异常值（Pandas:isnull()函数）2.处理异常值：（1）直接丢弃（Pandas: drop()/dropna()/drop_duplicated()函数）（2）替代异常值（Pandas:fillna()函数）（3）插值填充（Pandas:interpolate()---Series）

##异常值处理练习
#引入工具包
import pandas as pd
import numpy as np
#输入数据
df=pd.DataFrame({"A":["a0","a1","a1","a2","a3","a4"],"B":["b0","b1","b2","b2","b3",None],
                "C":[1,2,None,3,4,5],"D":[0.1,10.2,11.4,8.9,9.1,12],"E":[10,19,32,25,8,None],
                "F":["f0","f1","g2","f3","f4","f5"]})
#查看数据
df
#识别异常值，True为空值所在位置
df.isnull()
#去掉空值
df.dropna()
#只想去掉其中一种或几种属性的空值
df.dropna(subset=["B"])
##识别A中的重复值
df.duplicated(["A"])
df.duplicated(["A","B"]) #A和B同时重复的值
#重复值的删除,keep="first/last/False"表示删除第一个/最后一个/全部，默认First
df.drop_duplicates(["A"],keep="first")
#标注异常值
df.fillna("b*")#把异常值标注为b*
#用均值填充
df.fillna(df["E"].mean())
#插值法，只能用于series
df["E"].interpolate()
df["E"].interpolate(method="spline",order=3) #method选择插值方法,这里选三次样条插值法
#四分位数确定上下界判断异常值
upper_q=df["D"].quantile(0.75) #上四分位数
lower_q=df["D"].quantile(0.25) #下四分位数
q_int=upper_q-lower_q  #四分位差
k=1.5
df[df["D"]>lower_q-k*q_int][df["D"]<upper_q+k*q_int]
#索引里填入条件来删除异常值
df[[True if item.startswith("f") else False for item in list(df["F"].values)]]

三、特征预处理

主要包括：特征选择、特征变换（对指化、离散化、数据平滑、归一化/标准化、数值化、