集成学习Ensemble Learning（四）| 对模型超参数进行调优

调优

超参数与参数

超参数，即需要人手工调整的参数，比如说我们在损失函数后面加上的正则化参数中的$\lambda$。
而同样，损失函数中的$w$，是通过学习/训练，找出最优的，这就是参数。

Pipeline管道机制

Pipeline管道机制，顾名思义，它就像水管一样，数据就像水一样，在管道之间流动，Pipline的每一步就将一节节水管，数据经由这一节水管留到下一节水管，流向下一节水管的就是经由上一节水管处理后的数据2，这是sklearn中的一个机制。

使用网格搜索搭配Pipline找出最优参数

Pipeline流水线作业，每一步都采用(‘名称’,步骤)的方式表示。
这边使用了SVC分类模型，用的是鸢尾花数据集。
首先看没有调参过的模型的准确率。

PCA(Principal Component Analysis)，即主成分分析方法，是一种使用最广泛的数据降维算法。PCA的主要思想是将n维特征映射到k维上，这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。
其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴，我们发现，大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，只保留前面k个含有绝大部分方差的坐标轴。
事实上，这相当于只保留包含绝大部分方差的维度特征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。3

这边用PCA做一下预处理。

import numpy as np
from sklearn