支持向量学习机总结

支持向量学习机总结：
    监督式学习重点介绍了支持向量学习机、核函数、决策树、随机森林及GBTs

    支持向量学习机的出发点是解决线性可分或近似线性可分的问题。这个模型很重要的隐含假设：每个数据点的权重并不相同。支持向量机在训练时并不考虑所有数据，而只关心其中被直线分开的“异常点”。

    为了支持向量学习机能处理非线性问题，引入了核函数的概念。核函数能高效的完成空间变换，特别是从低纬度空间到高纬度空间的映射，能将原本非线性的问题转换为高纬度的线性问题。它是很通用的用法，在监督式学习和非监督式学习里面都有。

    决策树是很特殊的模型，它通过生成决策规则来解决分裂和回归问题。过程比较容易理解，是所谓的白盒模型。他会出现过拟合的问题，为了解决这个问题，引入了剪枝的概念。前剪枝：在换分节点之前限制决策树的复杂度；后剪枝：在决策树构建完成之后，通过剪枝集修改的结构，降低他的复杂度。前剪枝比较容易，应用比较广泛。
    决策树通常被用来做特征提取。

    将多个决策树按某种方式组合起来，提高模型的预测效果。两个代表分别是随机森林和GBTs。
    随机森林是模拟投票，少数服从多数来预测结果，他的模型是独立事件的概率法则。
    GBTs则通过修正已有模型的错误来提升预测结果。他的理论基础是梯度下降法。