Python数学建模与分析——Python优化模型选择

前面介绍了一系列算法，每种算法都有不同的适用范围。在现实生活中，常常采用集体智慧来解决问题。那么在机器学习中，能否将多种机器学习算法组合在一起，使计算出来的结果更好呢?这就是集成算法的思想。集成算法是提高算法准确度的有效方法之一。本章将会介绍以下几种算法:
装袋(Bagging)算法：先将训练集分离成多个子集，然后通过各个子集训练多个模型。
提升(Boosting)算法：训练多个模型并组成序列，序列中的每一个模型都会修正前一个模型的错误。
投票(Voting)算法：训练多个模型，并采用样本统计来提高模型的准确度。

ps:由于个体学习器在准确性和多样性存在冲突，追求多样性势必要牺牲准确性。这就需要将这些“好而不同”的个体学习器结合起来。而研究如何产生并结合个体学习器也是集成学习研究的核心。三个臭皮匠顶的上一个诸葛亮

1.2袋装算法

1.2.1简述

装袋算法是一种提高分类准确率的算法，通过给定组合投票的方式获得最优解。比如你生病了，去n个医院看了n个医生，每个医生都给你开了药方，最后哪个药方的出现次数多，就说明这个药方越有可能是最优解，这很好理解，这也是装袋算法的思想。
下面将介绍三种装袋模型:

1.2.1.1装袋决策树(Bagged Decision Trees)

（1）简述

装袋决策树装袋算法在数据具有很大的方差时非常有效，最常见的例子就是决策树的装袋算法。

（2）代码

#袋装决策树
from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import BaggingClassifier
from sklearn.tree import DecisionTreeClassifier


filename = 'pima.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
array = data.values
X = array[:, 0:8]
Y = array[:, 8]
num_folds = 10
seed =7
kfold = KFold(n_splits=num_folds,random_state=seed,shuffle=True)
#基模型
cart = DecisionTreeClassifier()
num_tree = 100
model = BaggingClassifier(n_estimators=num_tree, random_state=seed)
result = cross_val_score(model,X,Y,cv=kfold)
print(result.mean())

1.2.1.2随机森林(Random Forest)

（1）简述

顾名思义，随机森林是用随机的方式建立一个森林，森林由很多的决策树组成，而且每一棵决策树之间是没有关联的。得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行判断，看看这个样本应该属于哪一类，再看看哪一类被选择最多，就预测这个样本为哪一类。在建立每一棵决策树的过程中，有两点需要注意:采样与完全分裂。首先是两个随机采样的过程，随机森林对输入的数据要进行行、列的采样。

对于行采样采用有放回的方式，也就是在采样得到的样本集合中可能有重复的样本。假设输入样本为N个，那么采样的样本也为N个。这样在训练的时候，每一棵树的输入样本都不是全部的样本，就相对不容易出现过拟合，然后进行列采样，从M个feature中选出m个(m<M)。之后再对采样之后的数据使用完全分裂的方式建立决策树，这样决策树的某一个叶子节点要么是无法继续分裂的，要么所有样本都指向同一个分类。一般很多的决策树算法都有一个重要的步骤一剪枝，但是这里不这么做，因为之前的两个随机采样过程保证了随机性，所以不剪枝也不会出现过拟合。这种算法得到的随机森林中的每一棵决策树都是很弱的，但是将它们组合起来就会很厉害了。
我的理解:每一棵决策树就是一个精通某一个领域的专家，这样在随机森林中就有了很多个精通不同领域的专家，对于一个新的问题(新的输入数据)，可以从不同的角度去看待它，最终由各个专家投票得到结果。

（2）代码

#随机森林
from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier
filename = 'pima.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
array = data.values
X = array[:, 0:8]
Y = array[:, 8]
num_folds = 10
seed =7
kfold = KFold(n_splits=num_folds,random_state=seed,shuffle=True)
#基模型
num_tree = 100
max_features = 3
model = RandomForestClassifier(n_estimators=num_tree, random_state=seed,max_features=max_features)
result = cross_val_score(model,X,Y,cv=kfold)
print(result.mean())

1.2.1.3极端随机树(Extra Trees)

（1）简述

极端随机数2006年提出的，它与随机森林十分相似，都是由许多决策树构成。但它与随机森林有两个主要的区别:
(1)随机森林应用的是Bagging模型，而极端随机树是使用所有的训练样本得到每棵决策树，也就是每棵决策树应用的是相同的全部训练样本。
(2)随机森林是在一个随机子集内得到最优分叉特征属性，而极端随机树是完全随机地选择分叉特征属性，从而实现对决策树进行分叉的。

（2）代码

#极端决策树
from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import ExtraTreesClassifier
filename = 'pima.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
array = data.values
X = array[:, 0:8]
Y = array[:, 8]
num_folds = 10
seed =7
kfold = KFold(n_splits=num_folds,random_state=seed,shuffle=True)
#基模型
num_tree = 100
max_features = 7
model = ExtraTreesClassifier(n_estimators=num_tree, random_state=seed,max_features=max_features)
result = cross_val_score(model,X,Y,cv=kfold)
print(result.mean())

1.3提升算法

1.3.1简述

提升算法是一种用来提高弱分类算法准确度的方法，这种方法先构造一个预测函数系列，然后以一定的方式将它们组合成一个预测函数，提升算法也是一种提高任意给定学习算法准确度的方法，它是一种集成算法，主要通过对样本集的操作获得样本子集，然后用弱分类算法在样本子集上训练生成一系列的基分类器。
它可以用来提高其他弱分类算法的识别率，也就是将其他的弱分类算法作为基分类算法放于提升框架中，通过提升框架对训练样本集的操作，得到不同的训练样本子集，再用该样本子集去训练生成基分类器。

每得到一个样本集就用该基分类算法在该样本集上产生一个基分类器，这样在给定训练轮数n后，就可产生n个基分类器，然后提升算法将这n个基分类器进行加权融合，产生最后的结果分类器。
在这个基分类器中，每个分类器的识别率不一定很高，但它们联合后的结果有很高的识别率，这样便提高了弱分类算法的识别率。
下面是两个非常常见的用于机器学习的提升算法:
AdaBoost
随机梯度提升(Stochastic Gradient Boosting)

1.3.1.1AdaBoost

（1）简述

AdaBoostAdaBoost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。它将修改过权值的新数据集送给下层分类器进行训练，再将每次训练得到的分类器融合起来，作为最后的决策分类器。

（2）代码

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import AdaBoostClassifier
filename = 'pima.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
array = data.values
X = array[:, 0:8]
Y = array[:, 8]
num_folds = 10
seed =7
kfold = KFold(n_splits=num_folds,random_state=seed,shuffle=True)
num_tree = 30
model = AdaBoostClassifier(n_estimators=num_tree, random_state=seed)
result = cross_val_score(model,X,Y,cv=kfold)
print(result.mean())

1.3.1.2随机梯度提升(Stochastic Gradient Boosting)

（1）简述

随机梯度提升法(GBM)基于的思想是:要找到某个函数的最大值，最好的办法就是沿着该函数的梯度方向探寻。梯度算子总是指向函数值增长最快的方向。由于梯度提升算法在每次更新数据集时都需要遍历整个数据集，计算复杂度较高，于是有了一个改进算法一随机梯度提升算法，该算法一次只用一个样本点来更新回归系数，极大地改善了算法的计算复杂度。

（2）代码

#随机梯度提升
from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import GradientBoostingClassifier
filename = 'pima.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
array = data.values
X = array[:, 0:8]
Y = array[:, 8]
num_folds = 10
seed =7
kfold = KFold(n_splits=num_folds,random_state=seed,shuffle=True)
num_tree = 100
model = GradientBoostingClassifier(n_estimators=num_tree, random_state=seed)
result = cross_val_score(model,X,Y,cv=kfold)
print(result.mean())

1.4投票算法

1.4.1简述

投票算法(Voting)是一个非常简单的多个机器学习算法的集成算法。投票算法是通过创建两个或多个算法模型，利用投票算法将这些算法包装起来，计算名个子模型的平均预测状况。在实际的应用中，可以对每个子模型的预测结果增加权重，以提高算法的准确度但是，在scikit-learn中不提供加权算法。

1.4.2代码

#投票算法
from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import VotingClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.svm import SVC
from sklearn.linear_model import LogisticRegression
filename = 'pima.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
array = data.values
X = array[:, 0:8]
Y = array[:, 8]
num_folds = 10
seed =7
kfold = KFold(n_splits=num_folds,random_state=seed,shuffle=True)
cart = DecisionTreeClassifier()
models = []
model_logistic = LogisticRegression()
models.append(('logistic',model_logistic))
model_cart =DecisionTreeClassifier()
models.append(('cart',model_cart))
model_svc =SVC()
models.append(('svc',model_svc))
ensemble_model = VotingClassifier(estimators=models)
result = cross_val_score(ensemble_model,X,Y,cv=kfold)
print(result.mean())

二、算法调参

2.1简述

机器学习的模型都是参数化的，可以通过调参来提高模型的准确度。模型有很多参数，如何找到最佳的参类，可以把它当作一个查询问题来处理，但是调整参数到何时为止呢?应该遵循偏差和方差协调的原则。
在本节课将会介绍以下内容:
调整参数对机器学习算法的重要性
如何使用网格搜索优化参数。
如何使用随机搜索优化参数。

模型在样本总体上的准确度由其在训练集上的准确度及防止过拟合的能力共同决定，所以在调参时主要针对第一种参数进行调整。最终达到的效果是:模型在训练集上的准确度和防止过拟合能力的大和谐。

2.2机器学习算法调参

2.2.1简述

调整算法参数是采用机器学习解决问题的最后一个步骤，有时也被称为超参数优化。学会调参是进行机器学习项目的前提，但第一次遇到这些算法和模型时，肯定会被其大量的参数吓到。
其实，参数可分为两种:
一种是影响模型在训练集上的准确度或防止过拟合能力的参数;
另一种是不影响这两者的参数。

2.2.2网络搜索优化参数

（1）简述

网络搜索优化参数是一种算法参数优化的方法。它是通过遍历定义参数的表，来评估算法的参数，从而找到最优参数。在scikit--learn中使用GridSearchCv来实现对参数的跟踪、调整与评估，从而找到最优参数。网格搜索算法使用每组超参数训练模型，并挑选验证集误差最小的超参数组合。

（2）代码

#网络搜索优化参数
from pandas import read_csv
from sklearn.model_selection import  GridSearchCV
from sklearn.linear_model import Ridge
filename = 'pima.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
array = data.values
X = array[:, 0:8]
Y = array[:, 8]
model = Ridge()
#设置遍历的参数
param_grid = {'alpha':[1,0.1,0.01,0.001,0]}
grid = GridSearchCV(estimator=model,param_grid=param_grid)
grid.fit(X,Y)
#结果
print('最高得分：%.3f' %grid.best_score_)
print('最优参数：%s' %grid.best_estimator_.alpha)

2.2.3随机搜索优化参数

（1）简述

随机搜索优化参数随机搜素优化参数是另一种对算法参数优化的方法，随机搜素优化参数通过固定次数的迭代，采用随机采样分布的方式搜索合适的参数。与网格搜索优化参数相比，随机搜索优化参数提供了一种更高效的解决方法(特别是在参数数量多的情况下)，随机搜索优化参数为每个参数定义了一个分布函数，并在该空间中采样。
在scikit-leam中通过RandomizedSearchCV类实现。下面的例子是通过RandomizedSearchCV对脊回归算法的参数进行100次迭代，并从中选择最优的参数SciPy中的uniform是一个均匀随机采样函数，默认生成0与1之间的随机采样数值。在这里利用uniform对参数进行随机采样。

（2）代码

#随机搜索优化参数
from pandas import read_csv
from sklearn.model_selection import RandomizedSearchCV
from sklearn.linear_model import Ridge
from scipy.stats import uniform
filename = 'pima.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
array = data.values
X = array[:, 0:8]
Y = array[:, 8]
model = Ridge()
#设置遍历的参数
param_grid = {'alpha':uniform()}
grid = RandomizedSearchCV(estimator=model,param_distributions=param_grid)
grid.fit(X,Y)
#结果
print('最高得分：%.3f' %grid.best_score_)
print('最优参数：%s' %grid.best_estimator_.alpha)