数据预处理

第一步：导入需要的库

这两个是我们需要导入的库，Numpy包含数学计算函数，Pandas用于导入和管理数据集。

---

第二步：导入数据集

数据集通常是.csv格式，CSV文件以文本形式保存表格数据。文件的每一行是一条数据记录。我们使用Pandas的read_csv()方法读取本地csv文件为一个数据帧。然后，从数据帧中制作自变量和因变量的矩阵和向量。

---

第三步：处理丢失数据

我们得到的数据很少是完整的，数据可能因为各种原因丢失。为了不降低机器学习模型的性能，需要处理数据。通常可以采用整列的平均值或中间值替换丢失的数据。我们使用sklearn.preprocessing库中的Imputer类完成这步操作。

---

第四步：解析分类数据

分类数据指的是含有标签值而不是数字值的变量。取值范围通常是固定的。例如“Yes”和“No”不能用于模型的数学计算，所以需要解析成数字。为实现这一功能，我们从sklearn.preprocessing库中导入LabelEncoder类。

---

第五步：拆分数据集为训练集合和测试集合

把数据集拆分成两个：一个是用来训练模型的训练集合，另一个是用来验证模型的测试集合。两者的比例一般是80：20。我们导入sklearn.crossvalidation库中的train_test_split()方法。

---

第六步：特征缩放

大部分模型算法使用两点之间的欧几里得距离表示，但此特征在幅度、单位和范围姿态问题上变化很大。在距离计算中，高幅度的特征比低幅度特征权重更大。可用特征标准化或Z值归一化解决。导入sklearn.preprocessing库中的StandardScalar类。

---

关注公众号获取更多机器学习相关知识：