Machine Learning-教你用Scikit-Learn来做分类器（完整版）

机器学习系列专栏

选自 Python-Machine-Learning-Book On GitHub

作者：Sebastian Raschka

翻译&整理 By Sam

这篇《教你用Scikit-Learn来做分类器》对于我们入门scikit learn有很好的参考价值，之前分了三篇来分别阐述，相对篇幅会小一点，这篇的话就是把先前的全部内容进行汇总，所以篇幅看起来会相对吓人，大家可以收藏起来慢慢研究，给自己充电哦?！

由于文章篇幅较长，还是先把本文的结构贴在前面，如下：

• Scikit-Learn初认识

  • 使用Scikit-Learn训练感知器

• 使用逻辑回归构建一个概率类的分类模型

  • 逻辑回归的激活函数

  • 逻辑回归的损失函数

  • 使用sklearn训练一个逻辑回归模型

  • 使用正则化处理过拟合

• 使用Kernel-SVM来解决非线性问题

  • 什么是非线性问题

  • 核方法函数及原理

  • 利用核技巧Kernel-SVM在高维空间中寻找分隔超平面

• 机器学习决策树模型

  • 最大化信息增益-获得最大的提升度

  • 建立决策树

  • 通过随机森林将“弱者”与“强者”模型集成

• K近邻分类模型（一个懒惰的算法）

• 参考文献

PS：代码已单独保存：可在公众号后台输入“sklearn”进行获取ipynb文件

Scikit-Learn初认识

关于Scikit的介绍，大家应该看过很多了，简答来说它就是用Python开发的机器学习库，其中包含大量机器学习算法、数据集，是数据挖掘方便的工具，更多的介绍这里就不说了，大家有兴趣可以去百度一下呗。

我们直接从scikit-learn里加载iris数据集。在这里，第三列表示花瓣长度，第四列表示花瓣宽度。这些类已经转换为整数标签，其中0=Iris-Setosa, 1=Iris-Versicolor, 2=Iris-Virginica。

使用Scikit-Learn训练感知器

导入数据集：

1# 导入sklearn里面的iris数据集，并且获取特征和目标列
2from sklearn import datasets
3import numpy as np
4iris = datasets.load_iris()
5X = iris.data[:, [2, 3]]
6y = iris.target

划分数据集：

1# 根据sklearn的版本使用不同的类
2if Version(sklearn_version) < '0.18':
3    from sklearn.cross_validation import train_test_split
4else:
5    from sklearn.model_selection import train_test_split
6X_train, X_test, y_train, y_test = train_test_split(
7    X, y, test_size=0.3, random_state=0)

特征标准化：

1from sklearn.preprocessing import StandardScaler
2sc = StandardScaler()
3sc.fit(X_train)
4X_train_std = sc.transform(X_train)
5X_test_std = sc.transform(X_test)

训练模型：

1from sklearn.linear_model import Perceptron
2ppn = Perceptron(n_iter=40, eta0=0.1, random_state=0)
3ppn.fit(X_train_std, y_train)

模型效果：

绘制分类情况：

 1from matplotlib.colors import ListedColormap
 2import matplotlib.pyplot as plt
 3import warnings
 4def versiontuple(v):
 5    return tuple(map(int, (v.split("."))))
 6def plot_decision_regions(X, y, classifier, test_idx=None, resolution=0.02):
 7    # setup marker generator and color map
 8    markers = ('s', 'x', 'o', '^', 'v')
 9    colors = ('red', 'blue', 'lightgreen', 'gray', 'cyan')
10    cmap = ListedColormap(colors[:len(np.unique(y))])
11    # plot the decision surface
12    x1_min, x1_max = X[:, 0].min() - 1, X[:, 0].max() + 1
13    x2_min, x2_max = X[:, 1].min() - 1, X[:, 1].max() + 1
14    xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution),
15                           np.arange(x2_min, x2_max, resolution))
16    Z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T)
17    Z = Z.reshape(xx1.shape)
18    plt.contourf(xx1, xx2, Z, alpha=0.4, cmap=cmap)
19    plt.xlim(xx1.min(), xx1.ma