python fit训练数据_Python缺失数据补全和建立测试和训练数据

NumPy :一个用Python实现的科学计算包

1. 一个强大的N维数组对象Array

2. 快速的数学运算阵列

3. 实用的线性代数、傅里叶变换和随机数生产函数

pandas : 解决数据分析的数据分析包

1. 处理缺失数据

2. 可以让数据规范化、明确化

3. 数据分割、合并

4. 加载Excel文件(xxx.csv),数据库和保存/加载数据从超速 HDF5格式

5. 生成日期范围和频率转换,移动窗口统计,线性回归移动窗口,日期转移和滞后等。

sklearn.preprocessing：数据预处理

这里主要用来处理缺失数据(常用的三种方法)

删除 ：最简单最直接的方法，很多时候也是最有效的方法，这种做法的缺点是可能会导致信息丢失。

补全 ：平均数、中位数、众数、最大值、最小值、固定值、插值等等。用规则或模型将缺失数据补全，这种做法的缺点是可能会引入噪声

忽略 ：有一些模型，如随机森林，自身能够处理数据缺失的情况，在这种情况下不需要对缺失数据做任何的处理，这种做法的缺点是在模型的选择上有局限。

Imputer ：sklearn.preprocessing中的一个类，提供了基本的策略将缺失值(NaN/nan),使用均值、中值或最常见的价值缺失值的行或列

LabelEncoder ：对不连续的数字或者文本进行编号

OneHotEncoder：用于将表示分类的数据扩维

OneHotEncoder 输入必须是int数组，把类别数据转换成多列0,1数据。

LabelEncoder，把数据转化成int整形

源数据 Da