机器学习系列专栏
选自 Python-Machine-Learning-Book On GitHub
作者:Sebastian Raschka
翻译&整理 By Sam
这篇《教你用Scikit-Learn来做分类器》对于我们入门scikit learn有很好的参考价值,之前分了三篇来分别阐述,相对篇幅会小一点,这篇的话就是把先前的全部内容进行汇总,所以篇幅看起来会相对吓人,大家可以收藏起来慢慢研究,给自己充电哦?!
由于文章篇幅较长,还是先把本文的结构贴在前面,如下:
Scikit-Learn初认识
使用Scikit-Learn训练感知器
使用逻辑回归构建一个概率类的分类模型
逻辑回归的激活函数
逻辑回归的损失函数
使用sklearn训练一个逻辑回归模型
使用正则化处理过拟合
使用Kernel-SVM来解决非线性问题
什么是非线性问题
核方法函数及原理
利用核技巧Kernel-SVM在高维空间中寻找分隔超平面
机器学习决策树模型
最大化信息增益-获得最大的提升度
建立决策树
通过随机森林将“弱者”与“强者”模型集成
K近邻分类模型(一个懒惰的算法)
参考文献
PS:代码已单独保存:可在公众号后台输入“sklearn”进行获取ipynb文件
Scikit-Learn初认识
关于Scikit的介绍,大家应该看过很多了,简答来说它就是用Python开发的机器学习库,其中包含大量机器学习算法、数据集,是数据挖掘方便的工具,更多的介绍这里就不说了,大家有兴趣可以去百度一下呗。
我们直接从scikit-learn里加载iris数据集。在这里,第三列表示花瓣长度,第四列表示花瓣宽度。这些类已经转换为整数标签,其中0=Iris-Setosa, 1=Iris-Versicolor, 2=Iris-Virginica。
使用Scikit-Learn训练感知器
导入数据集:
1# 导入sklearn里面的iris数据集,并且获取特征和目标列
2from sklearn import datasets
3import numpy as np
4iris = datasets.load_iris()
5X = iris.data[:, [2, 3]]
6y = iris.target
划分数据集:
1# 根据sklearn的版本使用不同的类
2if Version(sklearn_version) < '0.18':
3 from sklearn.cross_validation import train_test_split
4else:
5 from sklearn.model_selection import train_test_split
6X_train, X_test, y_train, y_test = train_test_split(
7 X, y, test_size=0.3, random_state=0)
特征标准化:
1from sklearn.preprocessing import StandardScaler
2sc = StandardScaler()
3sc.fit(X_train)
4X_train_std = sc.transform(X_train)
5X_test_std = sc.transform(X_test)
训练模型:
1from sklearn.linear_model import Perceptron
2ppn = Perceptron(n_iter=40, eta0=0.1, random_state=0)
3ppn.fit(X_train_std, y_train)
模型效果:
绘制分类情况:
1from matplotlib.colors import ListedColormap
2import matplotlib.pyplot as plt
3import warnings
4def versiontuple(v):
5 return tuple(map(int, (v.split("."))))
6def plot_decision_regions(X, y, classifier, test_idx=None, resolution=0.02):
7 # setup marker generator and color map
8 markers = ('s', 'x', 'o', '^', 'v')
9 colors = ('red', 'blue', 'lightgreen', 'gray', 'cyan')
10 cmap = ListedColormap(colors[:len(np.unique(y))])
11 # plot the decision surface
12 x1_min, x1_max = X[:, 0].min() - 1, X[:, 0].max() + 1
13 x2_min, x2_max = X[:, 1].min() - 1, X[:, 1].max() + 1
14 xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution),
15 np.arange(x2_min, x2_max, resolution))
16 Z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T)
17 Z = Z.reshape(xx1.shape)
18 plt.contourf(xx1, xx2, Z, alpha=0.4, cmap=cmap)
19 plt.xlim(xx1.min(), xx1.