集成学习之投票法的原理及案例分析

投票法的原理及案例分析

投票法的思路：

投票法可以根据权重，或者直接平均，将模型的预测结果进行融合。一般情况下进行多次预测，错误总是发生在局部，此时我们可以遵循多数服从少数的原则，因此融合多个数据是降低误差的一个好方法，这就是投票法的基本思路。投票法可以帮助我们提高模型的泛化能力，减少模型的错误率。
对于回归模型来说，投票法最终的预测结果是多个其他回归模型预测结果的平均值。
对于分类模型，硬投票法的预测结果是多个模型预测结果中出现次数最多的类别，软投票对各类预测结果的概率进行求和，最终选取概率之和最大的类标签。

投票法的原理分析

集成学习就是要发挥集体决策的优势，以单个分类模型的分类结果为基础，采用少数服从多数的原则确定模型预测的类别标签。通过多个模型的集成降低方差，从而提高模型的准确性。在理想情况下，投票法的预测效果应当优于任何一个基模型的预测效果。
举个简单的例子：

• 硬投票法
  对于某个样本：
  模型一的预测结果是1
  模型二的预测结果是0
  模型三的预测结果是0
  有2/3的模型预测结果是0，所以硬投票法的结果是0。
• 软投票法
  对于某个样本：
  模型 1 的预测结果是 类别 1 的概率为 99%
  模型 2 的预测结果是 类别 1 的概率为 49%
  模型 3 的预测结果是 类别 1 的概率为 49%
  最终对于类别A的预测概率的平均是 (99 + 49 + 49) / 3 = 65.67%，因此软投票法的预测结果是1。

相对于硬投票，软投票法考虑到了预测概率这一额外的信息，因此可以得出比硬投票法更加准确的预测结果。

在（a）图中，每个分类器原本只有66.6%的精度，集成学习却达到了100%；（b）图中，每个分类器都是一样的，集成之后性能没有任何提高；在（c）图中，每个分类器的精度只有33.3%，集成之后结果反而变得更糟。

这个例子表明：要获得好的集成，个体学习器应“好而不同”，即个体学习器要有一定的准确性，即学习器不能太坏，并且要有“多样性”（diversity），即学习器间具有差异。

所以要想投票法的结果比较理想，需要满足2个条件：

• 基模型之间的效果不能差别过大。当某个基模型相对于其他基模型效果过差时，该模型很可能成为噪声。
• 基模型之间应该有较小的同质性。例如在基模型预测效果近似的情况下，基于树模型与线性模型的投票，往往优于两个树模型或两个线性模型。

当基模型能预测出清晰的类别标签时，适合使用硬投票。当基模型能预测类别的概率时，适合使用软投票。软投票同样可以用于那些本身并不预测类成员概率的模型，只要他们可以输出类似于概率的预测分数值（例如支持向量机、k-最近邻和决策树）。

投票法的所有模型对预测的贡献都是一样的，如果一些模型在某些情况下很好，而在其他情况下很差，这是使用投票法时需要考虑到的一个问题。

投票法的案例分析(基于sklearn，介绍pipe管道的使用以及voting的使用)

from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.ensemble import VotingClassifier
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.neighbors import KNeighborsClassifier
from matplotlib import pyplot
from numpy import mean
from numpy import std
from sklearn.datasets import make_classification

models = [('lr',LogisticRegression()),('svm',SVC())]
ensemble = VotingClassifier(estimators=models)

# 定义数据集
def get_dataset():
    X, y = make_classification(  n_samples=1000, 
                                 n_features=20,
                                 n_informative=15,
                                 n_redundant=5, 
                                 random_state=2)
    # summarize the dataset
    return X,y


# 获取一组模型的投票
def get_voting():
  # 定义基模型
    models = list()
    models.append(('knn1', KNeighborsClassifier(n_neighbors=1)))
    models.append(('knn3', KNeighborsClassifier(n_neighbors=3)))
    models.append(('knn5', KNeighborsClassifier(n_neighbors=5)))
    models.append(('knn7', KNeighborsClassifier(n_neighbors=7)))
    models.append(('knn9', KNeighborsClassifier(n_neighbors=9)))
    # 定义投票集合
    ensemble = VotingClassifier(estimators=models, voting='hard')
    return ensemble


# 获取要评估的模型列表
def get_models():
    models = dict()
    models['knn1'] = KNeighborsClassifier(n_neighbors=1)
    models['knn3'] = KNeighborsClassifier(n_neighbors=3)
    models['knn5'] = KNeighborsClassifier(n_neighbors=5)
    models['knn7'] = KNeighborsClassifier(n_neighbors=7)
    models['knn9'] = KNeighborsClassifier(n_neighbors=9)
    models['hard_voting'] = get_voting()
    return models

#使用交叉验证评估给定模型
def evaluate_model(model, X, y):
    cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
    scores=cross_val_score(model,X,y,scoring='accuracy',cv=cv,n_jobs=-1,error_score='raise')
    return scores
X, y = get_dataset()
models = get_models()
results, names = list(), list()
for name, model in models.items(): 
    scores = evaluate_model(model, X, y)
    results.append(scores)
    names.append(name)
    print('>%s %.3f (%.3f)' % (name, mean(scores), std(scores)))
pyplot.boxplot(results, labels=names, showmeans=True)
pyplot.show()

通过箱形图我们可以看到硬投票方法对交叉验证整体预测结果分布带来的提升。