投票法和bagging

Datawhale开源项目：机器学习集成学习与模型融合(基于python): 链接

投票法

投票法是一种遵循少数服从多数原则的集成学习模型，通过多个模型的集成降低方差，从而提高模
型的鲁棒性。在理想情况下，投票法的预测效果应当优于任何一个基模型的预测效果.

投票法在回归模型与分类模型上均可使用：
回归投票法：预测结果是所有模型预测结果的平均值。
分类投票法：预测结果是所有模型种出现最多的预测结果。

分类的机器学习算法输出有两种类型：一种是直接输出类标签，另外一种是输出类概率，使用前者进行投票叫做硬投票(Majority/Hard voting)，使用后者进行分类叫做软投票(Soft voting)。

下面我们使用一个完整的例子演示投票法的使用：
首先我们创建一个1000个样本，20个特征的随机数据集：

# test classification dataset
from sklearn.datasets import make_classification
# define dataset
def get_dataset():
X, y = make_classification(n_samples=1000, n_features=20, n_informative=15,
n_redundant=5, random_state=2)
# summarize the dataset
return X,y

我们使用多个KNN模型作为基模型演示投票法，其中每个模型采用不同的邻居值K参数：

# get a voting ensemble of models
def get_voting():
# define the base models
models = list()
models.append(('knn1', KNeighborsClassifier(n_neighbors=1)))
models.append(('knn3', KNeighborsClassifier(n_neighbors=3)))
models.append(('knn5', KNeighborsClassifier(n_neighbors=5)))
models.append(('knn7'<