fghgbeused的博客

原创 随机森林算法

树的融合。采用voting每一颗树，采用Bootstrap有放回的抽样选取数据，然后随机选取部分特征来构建树。总结：数据的随机性选取，以及待选特征的随机选取。数据的随机选取：第一，从原始的数据集中采取有放回的抽样，构造子数据集，子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据集中的元素也可以重复。第二，利用子数据集来构建子决策树，将这个数据放到每个子决策树中...

原创 决策树算法

在这里插入图片描述

原创 逻辑回归

原创 线性回归

原创 SVM-支持向量机

目标：二分类问题。找出让二个类分开的最大间隔。即找到一个超平面把两个类分开，出现最大间隔。其实就是支持向量到超平面的距离最大。处于决策面上的点叫支持向量SV。超平面的表达式：wTx+γ=0w^Tx+\gamma=0wTx+γ=0支持向量到超平面的距离：我们提高要求，假设决策面正好处于间隔区域的中轴线上，并且相应的支持向量对应的样本点到决策面的距离为d，那么就可以进一步写成：两个不等...