写在前面:今天是参加DataCastle比赛的第4天,在我妄图手写Boosting然而效率低的一B的时候,用sklearn的RF(RandomForest)没有优化参数、没有特征提取的情况下,居然都比我自己写的AdaBoost要好 ,所以我们目前的工作从编码实现转到了对sklearn的熟悉,然则求一中文文档而不得,英文渣渣的我也只能自己来翻译了。一则刚入ML坑的新人也在学习过程,二则英语渣渣星人有些我可能自己也看不懂,翻译不到位忘见谅了。
An introduction to machine learning with scikit-learn
1 机器学习:问题设定
一般来说,机器学习问题可以这样来理解:我们有n个 样本 (sample)的数据集,然后去预测未知数据的属性。如果描述每个样本的数字不只一个数字,比如一个多维的条目(也叫做 多变量数据 (multivariate data)),那么这个样本就有多个属性或者 特征 。
我们可以将学习问题分为以下几类:
监督学习(supervised learning)是指样本数据中包括了我们想预测的属性,监督学习问题有以下两类:
分类(classification):样本具有两个或多个类别,我们希望通过从已标记类别的数据学习,来预测未标记数据的分类。例如,识别手写数字就是一个分类问题,其目标是将每个输入向量对应到有穷的数字类别。从另一种角度来思考,分类是一种监督学习的离散(相对于连续)形式,对于n个样本,一方有对应的有限个类别数量,另一方则试图标记样本并分配到正确的类别。
回归(regression):如果希望的输出是一个或多个连续的变量,那么这项任务被称作回归,比如用年龄和体重的函数来预测三文鱼的长度。
无监督学习(unsupervised learning)的训练数据包括了输入向量X的集合,但没有相对应的目标变量。这类问题的目标可以是发掘数据中相似样本的分组,被称作聚类(Clustering);也可以是确定输入样本空间中的数据分布,被称作密度估计(density estimation);还可以是将数据从高维空间投射到两维或三维空间,以便进行数据可视化。
2 加载样例数据集
scikit-learn有一些标准数据集,比如用于分类的 iris 和 digits 数据集,和用于回归的boston house prices数据集。
下面,我们会打开Python解释器来通过shell加载iris和digits数据集。$表示shell提示符,>>表示python解释器提示。
$ python >>> from sklearn import datasets >>> iris = datasets.load_iris() >>> digits = datasets.load_digits()
数据集类似字典对象,包括了所有的数据和关于数据的元数据(metadata)。数据被存储在.data成员内,是一个n_samples*n_features的数组。在监督问题中,一个或多个因变量(response variables)被储存在.target成员中。
例如,在digits数据集中,digits.data是可以用来分类数字样本的特征:
>>> print(digits.data) [[ 0. 0. 5. ..., 0. 0. 0.] [ 0. 0. 0. ..., 10. 0. 0.] [ 0. 0. 0. ..., 16. 9. 0.] ..., [ 0. 0. 1. ..., 6. 0. 0.] [ 0. 0. 2. ..., 12. 0. 0.] [ 0. 0. 10. ..., 12. 1. 0.]]
digits.target给出了digits数据集的真实值,即每个数字图案对应的我们想预测的真实数字:
>>> digits.target
array([0, 1, 2, ..., 8, 9, 8])
3 学习和预测
在digits数据集中,我们的任务是给定一个图案,预测其表示的数字是什么。我们的样本有10个可能的分类(数字0到9),我们将匹配一个 预测器 (estimator)来 预测 (predict)未知样本所属的分类。
在scikit-learn中,分类问题的预测器是一个实现了fit(x,y)和predict(t)方法的Python对象。
下面这个预测器的例子是sklearn.svm.SVC类,它实现了支持向量机分类 。预测期的构造函数需要模型参数,但现在,我们暂时先将预测器看作是一个黑盒:
>>> from sklearn import svm >>> clf = svm.SVC(gamma=0.001, C=100.)
选择模型的参数:在这个例子里我们手动设置了gamma的值,可以通过使用这些工具例如网格搜索(grid search)和交叉验证(cross validation)来自动找到参数的最佳取值。
我们给预测器取个名字叫做clf(claasifier)。现在预测器必须来 匹配 (fit)模型,也就是说,它必须从模型中 学习 (learn)。这个过程是通过将训练数据集传递给fit方法来实现的。我们将除了最后一个样本的数据全部作为训练数据集。通过Python语法[:-1]来选择,这会生成一个新的包含了除最后一个条目的digits.data数组:
>>> clf.fit(digits.data[:-1], digits.target[:-1]) SVC(C=100.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape=None, degree=3, gamma=0.001, kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False)
现在你可以预测新值了,具体来说,我们可以询问分类器,digits数据集里最后一个图案所代表的数字是什么(我们并没有用最后一个数据来训练分类器)
>>> clf.predict(digits.data[-1:])
array([8])
最一个图案如下:
如你所见,这是一个有挑战性的任务:这个图像的分辨率很低,你赞同你的分类器给出的答案吗?
这里给出一个更复杂的你可以学习的分类问题的例子: 识别手写数字 (Recognizing hand-written digits)
4 模型持久性
可以采用Python内建的持久性模型 pickle 来保存scikit的模型:
>>> from sklearn import svm >>> from sklearn import datasets >>> clf = svm.SVC() >>> iris = datasets.load_iris() >>> X, y = iris.data, iris.target >>> clf.fit(X, y) SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape=None, degree=3, gamma='auto', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) >>> import pickle >>> s = pickle.dumps(clf) >>> clf2 = pickle.loads(s) >>> clf2.predict(X[0:1]) array([0]) >>> y[0] 0
在scikit的特定情形下,用joblib’s来代替pickle(joblib.dump&joblib.load)会更吸引人,在大数据下效率更高,但只能pickle到磁盘而不是字符串:
>>> from sklearn.externals import joblib >>> joblib.dump(clf, 'filename.pkl')
你可以在之后重新加载pickled模型(可以在另一个Python程序里):
>>> clf = joblib.load('filename.pkl')
注意:joblib.dump返回一个文件名列表。每个包含在clf对象中独立的numpy数组是在文件系统中是按顺序排列的一个独立文件。当用joblib.load重新加载模型时,所有文件必须在同一个目录下。pickle有一些安全性和维护性问题。
5 规范
scikit-learn预测期通过某些规则 来让他们的预测更准确。
类型转换
除非有其他的规定,输入会被转换成float64:
>>> import numpy as np >>> from sklearn import random_projection >>> rng = np.random.RandomState(0) >>> X = rng.rand(10, 2000) >>> X = np.array(X, dtype='float32') >>> X.dtype dtype('float32') >>> transformer = random_projection.GaussianRandomProjection() >>> X_new = transformer.fit_transform(X) >>> X_new.dtype dtype('float64')
在这个例子中X本来是float32,经过fit_transform(X)被转化成float64。
默认情况下,回归目标被转化成float64,而分类目标会保持不变。
>>> from sklearn import datasets >>> from sklearn.svm import SVC >>> iris = datasets.load_iris() >>> clf = SVC() >>> clf.fit(iris.data, iris.target) SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape=None, degree=3, gamma='auto', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) >>> list(clf.predict(iris.data[:3])) [0, 0, 0] >>> clf.fit(iris.data, iris.target_names[iris.target]) SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape=None, degree=3, gamma='auto', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) >>> list(clf.predict(iris.data[:3])) ['setosa', 'setosa', 'setosa']
这里,第一个predict()返回了一个int类型的数字,由于iris.target(int型数组)被用在fit中,而第二个predict()返回了一个string数组,由于iris.target_names被用在fit中。
修改和更新参数
预测期的参数在它被sklearn.pipeline.Pipeline.set_params方法构建之后可以更新和修改,多次调用fit()方法可以重写预测期在之前的fit()中学习的东西。
>>> import numpy as np >>> from sklearn.svm import SVC >>> rng = np.random.RandomState(0) >>> X = rng.rand(100, 10) >>> y = rng.binomial(1, 0.5, 100) >>> X_test = rng.rand(5, 10) >>> clf = SVC() >>> clf.set_params(kernel='linear').fit(X, y) SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape=None, degree=3, gamma='auto', kernel='linear', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) >>> clf.predict(X_test) array([1, 0, 1, 1, 0]) >>> clf.set_params(kernel='rbf').fit(X, y) SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape=None, degree=3, gamma='auto', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False) >>> clf.predict(X_test) array([0, 0, 0, 1, 0])
这里,SVC()的默认的核函数rbf,构造完成后rbf改成了linear,然后又被修改回了rbf重新训练了预测期并作出了第二次预测。