机器学习_树_SVM

决策树:
类似二叉树 对于一堆数据进行层层分类判断
为监督学习
(递归过程)

根据表数据设置每个节点阈值进行层层分类

ID3:有信息熵决定节点。每个节点熵值最小(即判断最准确)
分类过细 容易过拟合

C4.5: ID3除以信息增益(越细越大)

CART:分类回归树,使用GINI指数(总体内包含的类别越杂乱越大),选取最小的方案。 回归(分类到每一个节点只有一个类别时停止)。同样会过拟合

均可采用交叉验证法选取最小错误率的决策树。

随机森林:由多个弱分类器组合成强分类器
每棵树训练的时候,随机有放回地取全部数据的一部分进行学习。
尽可能随机!!!然后产生不同属性的决策树进行“民主”决策。

先行采样 再列采样。

SVM:
简而言之寻找超平面,以最大间隔把两类样本分开
最后变为优化问题:
在这里插入图片描述
在这里插入图片描述
由拉格朗日变化(凸优化):
在这里插入图片描述
KKT条件:
在这里插入图片描述
在这里插入图片描述

SVM:在这里插入图片描述

拉格朗日+强对偶:
在这里插入图片描述
在这里插入图片描述

序列最小优化(每次优化一个):
在这里插入图片描述

求偏导:
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

软间隔:解决不可完全线性分割问题,允许部分样本点不满足条件
在这里插入图片描述
拉格朗日+强对偶
在这里插入图片描述

核函数:解决低纬度非线性的分类
在这里插入图片描述
在这里插入图片描述

SVM优缺点:
在这里插入图片描述

PS:
贝叶斯公式:
在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值