pandas+sklearn数据预处理

1.未经与处理的数据可能存在的问题

• 不属于同一量纲：即特征的规格不一样，不能够放在一起比较。无量纲化可以解决这一问题。
• 信息冗余：对于某些定量特征，其包含的有效信息为区间划分，例如学习成绩，假若只关心“及格”或不“及格”，那么需要将定量的考分，转换成“1”和“0”表示及格和未及格。
• 定性特征不能直接使用：某些机器学习算法和模型只能接受定量特征的输入，那么需要将定性特征转换为定量特征。最简单的方式是为每一种定性值指定一个定量值，但是这种方式过于灵活，增加了调参的工作。通常使用独热编码的方式将定性特征转换为定量特征：假设有N种定性值，则将这一个特征扩展为N种特征，当原始特征值为第i种定性值时，第i个扩展特征赋值为1，其他扩展特征赋值为0。独热编码的方式相比直接指定的方式，不用增加调参的工作，对于线性模型来说，使用独热编码后的特征可达到非线性的效果。
• 存在缺失值：缺失值需要补充。
• 信息利用率低：不同的机器学习算法和模型对数据中信息的利用是不同的，之前提到在线性模型中，使用对定性特征独热编码可以达到非线性的效果。类似地，对定量变量多项式化，或者进行其他的转换，都能达到非线性的效果。
• 特征缺失：某些因素在原始数据中并不存在。

2.无量纲化
无量纲化使不同规格的数据转换到同一规格。常见的无量纲化方法有标准化、归一法和区间缩放法。
（1）标准化
标准化的前提是特征值服从正态分布，标准化后，其转换成标准正态分布。在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景。
（2）区间放缩法
常用的方法是通过对原始数据进行线性变换把数据映射到[0,1]之间。在数据流场景下最大值与最小值是变化的。另外，最大值与最小值非常容易受异常点影响，所以这种方法鲁棒性较差，只适合传统精确小数据场景。
（3）归一化
归一化是依照特征矩阵的行处理数据，其目的在于样本向量在点乘运算或其他核函数计算相似性时，拥有统一的标准，也就是说都转化为“单位向量”。此方法主要用于：(1)需要使用二次方程，比如点积或者其他核方法计算样本对之间的相似性(2)常用于文本分类和内容聚类的向量空间模型的基础。

3.pandas数据预处理
（1）缺失值的定义：
数据原本存在但是没被收集/数据根本不存在。
默认缺失值用NaN来表示，也可以通过设置用inf/-inf来表示：

pandas.options.mode.use_inf_as_na = True

时间序列中的缺失值用NaT来表示，pandas中NaN和NaT是兼容的。
（2）判断缺失值

df=pd.DataFrame(np.random.randn(5,3),index=['a','c','d','e','f'],columns=['one', 'two', 'three'])
df2 = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print(df2)
print(df2.isna())#输出的是布尔型变量
print(df2.notna())
print(df.isnull().sum())#输出每一列缺失值的个数
print(df.isnull().count())#输出每一列值的个数

（3）缺失值赋值
给缺失值赋值可以通过np.nan或None进行。当被赋值的是数值型的容器，缺失值的形式为nan，当被赋值的是对象型的容器，缺失值的形式保留为原始输入的形式（None or nan）
（4）缺失值计算
下面是含有缺失值数据的一些计算规则。
求和时缺失数据会被默认是0；
求累加或累乘时被自动忽略，也可以通过设置skipna=False让它不被忽略，从而整个结果都成为nan；
完全为空的dataframe求和为0，乘积为1；
dataframe分组中缺失数据会被自动忽略。
（5）过滤缺失值

df=pd.DataFrame([[1,6.5,3],[1,np.nan,np.nan],[np.nan,np.nan,np.nan],[np.nan,6.5,3]])
print(df)
print(df.dropna())#默认只要包含nan就把那一行删去
print(df.dropna(how='all'))#整行都是nan才删去
print(df.dropna(axis=1))#把包含nan的列删去（所以最后输出了一个空的dataframe，全部被删掉了）
>>>
      0    1    2
0  1.0  6.5  3.0
1