AI作业3

集成学习
集成学习是一种将几种机器学习技术组合成一个预测模型的元算法，以减小方差，偏差，或者改进预测
支持向量机
支持向量机是一类按监督学习方式对数据进行二元分类的广义线性分析器，其决策边界是对学习样本求解的最大边距超平面
软间隔
是处理线性不可分问题、减少噪点影响时引入的方法
核函数
支持向量机通过某种线性变换，将输入空间映射到高位特征空间
VC维
函数集的VC维就是它能打散的最大样本数目H，VC维反映了函数集的学习能力，VC维越大则学习机器越复杂
生成式模型
生成式模型通过人为设定的条件建立模型，再通过利用假设建立的模型得出结果
判别式模型
判别式模型完全根据数据得出结果
生成式模型和判别式模型优缺点
生成式模型给出的是联合分布，收敛速度比较快，能够解决存在隐变量的情况。但是实践中多数情况下，没有判别模型效果好
判别式模型节省计算资源，需要的样本数量也少于生成模型。准确率往往较生成模型高。
由生成式模型可以得到判别式模型，但由判别式模型不能得到生成式模型。
监督学习、无监督学习
监督学习：通过已有的标记数据建立输入和输出之间的映射，从而预测新的输出。
无监督学习：通过数据的统计特性来学习数据的分布，从而生成新的数据
分类，聚类，KNN,K-means
分类是判别式方法，通过已有的标记数据建立输入和输出之间的映射，从而对新的数据进行分类。
聚类是生成式方法，通过数据的统计特性来学习数据的分布，从而对数据进行聚类。
KNN：基于距离度量的判别式分类算法
K-means：基于数据分布的生成式聚类算法。