100-Days-Of-ML系列Day1

最近看到github上有100-Days-Of-ML系列的项目，出了中英文版，在这里做一下搬运工，加上自己的学习体会，与大家分享。英文原版地址：英文版，中文版地址：中文版。
第一天的标题为数据预处理，一共分为了6步，都比较简单，属于入门级的预处理。具体如下：

第一步：导入库

导入所需要的python库，首先确保已经安装了numpy库、pandas库，为了使用方便，用as进行重命名。

import numpy as np
import pandas as pd

第二步:导入数据

导入准备好的csv数据，数据。注意这里的Data.csv存放在当前的工作目录下，否则要使用绝对路径。

dataset = pd.read_csv('Data.csv')

可以查看一下数据的前几行：

dataset.head()

还可以查看数值型数据的统计信息：

dataset.describe()

对数据进行切片，iloc表示取数据集中的某些行和某些列，逗号前表示行，逗号后表示列，这里表示取所有行，列取除了最后一列的其他列，而最后一列是应变量（Y）

X = dataset.iloc[ : , :-1].values
Y = dataset.iloc[ : , 3].values

数据如下:

第三步:处理缺失值

刚才的X数据中我们可以看到部分数据为NaN，对于这些缺失值常用的处理办法有:1、删除包含缺失值的数据列，2、填补缺失值（平均值、众数）。对于本例中的数据，我们使用平均数填充缺失值。这里用到python机器学习中最常用的sklearn库。

from sklearn.preprocessing import Imputer
imputer = Imputer(missing_values = "NaN", strategy = "mean", axis = 0)
imputer = imputer.fit(X[ : , 1:3])
X[ : , 1:3] = imputer.transform(X[ : , 1:3])

现在来观察一下处理后的X:

可以看到NaN值已经被处理为平均值了。

第四步:对分类变量的处理

我们可以看到上面X的Country列都是类别字符，这对机器学习来说是无法处理的类型，所以要对这一列进行类别编码。这里给的编码不太合理，不同的国家的地位应该是一样的，却给了不一样的数值，可能会造成机器学习的偏差，建议使用OneHot编码。

from sklearn.preprocessing import LabelEncoder, OneHotEncoder
labelencoder_X = LabelEncoder()
X[ : , 0] = labelencoder_X.fit_transform(X[ : , 0])

现在来看看处理后的X：

处理完X，我们再来处理Y，这里我们用onehot编码：

onehotencoder = OneHotEncoder(categorical_features = [0])
X = onehotencoder.fit_transform(X).toarray()
labelencoder_Y = LabelEncoder()
Y =  labelencoder_Y.fit_transform(Y)

第五步:划分测试集、训练集

训练集和测试集的比例为4:1

from sklearn.cross_validation import train_test_split
X_train, X_test, Y_train, Y_test = train_test_split( X , Y , test_size = 0.2, random_state = 0)

第六步:特征缩放

也就是常说的归一化处理，防止某些特征的值特别大而影响机器学习的效果。

from sklearn.preprocessing import StandardScaler
sc_X = StandardScaler()
X_train = sc_X.fit_transform(X_train)
X_test = sc_X.fit_transform(X_test)

来看看现在得到的数据：

到这里，预处理就全部完成了，这样的数据就可以直接进行机器学习了。