100天入门机器学习——第一天（数据预处理）

近期有国外大神在github上写了100天入门机器学习：
国外大神的100天入门机器学习
也有人进行了汉化：汉化版

仅以此记录，一起学习！

---

第一天：

数据预处理

1. 导入库

import numpy as np
import pandas as pd

2. 导入数据集

dataset = pd.read_csv('Data.csv')
X = dataset.iloc[ : , :-1].values
Y = dataset.iloc[ : , 3].values

这里的[ : , :-1]表示二维数组，选取第1维到倒数第二维的所有数据，[ : ,3]表示二维数组，选取第四维的所有数据
其中与iloc相近的还有loc，loc是指location的意思，iloc中的i是指integer。也就是说loc是根据index来索引，比如下边的df定义了一个index，那么loc就根据这个index来索引对应的行。iloc并不是根据index来索引，而是根据行号来索引，行号从0开始，逐次加1。

3. 处理丢失数据

from sklearn.preprocessing import Imputer
imputer = Imputer(missing_values = "NaN", strategy = "mean", axis = 0)
imputer = imputer.fit(X[ : , 1:3])
X[ : , 1:3] = imputer.transform(X[ : , 1:3])

这里在install sklearn以后，运行一直报错，其实还要安装一个scipy模块才能正常运行
这一步的意思是：Imputer主要适用于数据集中的缺失值处理，这里的missing_values表示缺失的值，strategy表示需要填入的值是什么，axis表示行还是列
fit表示依据哪些数据进行计算填补缺失值，上述代码表示通过X数据集的第二维和第三维上列的值计算平均值填入
库中与transform相近的方法是fit_transform()，前者表示数据标准化，后者表示数据先拟合在标准化。其实上述的代码第三行和第四行合起来便是fit_transform()的效果

4. 解析分类数据

from sklearn.preprocessing import LabelEncoder, OneHotEncoder
labelencoder_X = LabelEncoder()
X[ : , 0] = labelencoder_X.fit_transform(X[ : , 0])

LabelEncoder()表示标准化标签，将标签的值统一转化为range(标签个数-1)范围内的值以汉化版为例，原来的输出为[‘France’ ‘Spain’ ‘Germany’ ‘Spain’ ‘Germany’ ‘France’ ‘Spain’ ‘France’ ‘Germany’ ‘France’]，进行处理后输出为[0 2 1 2 1 0 2 0 1 0]——标签数值化

创建虚拟变量

onehotencoder = OneHotEncoder(categorical_features = [0])
X = onehotencoder.fit_transform(X).toarray()
labelencoder_Y = LabelEncoder()
Y =  labelencoder_Y.fit_transform(Y)

OneHotEncoder表示独热编码，目的是为了处理数据集中随机的数组，详细的请参考独热编码参考资料，其实专业点名词就是数据归一化

5. 拆分数据集为训练集合和测试集合

from sklearn.model_selection import train_test_split
X_train, X_test, Y_train, Y_test = train_test_split( X , Y , test_size = 0.2, random_state = 0)

此操作是将数据集拆分为训练集和测试集
train_test_split方法中，X和Y表示需要拆分的数据集，test_size表示：如果是浮点数，在0-1之间，表示样本占比；如果是整数的话就是样本的数量；random_state：是随机数的种子，填1，其他参数一样的情况下你得到的随机数组是一样的。但填0或不填，每次都会不一样。

6. 特征量化

from sklearn.preprocessing import StandardScaler
sc_X = StandardScaler()
X_train = sc_X.fit_transform(X_train)
X_test = sc_X.transform(X_test)

StandardScaler的作用是去均值和方差归一化，这里训练数据用fit_transform，测试数据用transform，是因为其实前者已经fit了，在后者进行处理的时候选取第一步的值来做归一化就可以了。有能力点的可以查看transform的源码，其中有一步操作，便是检查是否fit

总结，第一天主要讲对数据的处理，使用sklearn对数据进行规范化，归一化，标准化，正则化

---

感谢Avik-Jain和MLEveryday，前者制作了这个项目，后者进行了汉化