分类算法
文章平均质量分 76
rexyang97
这个作者很懒,什么都没留下…
展开
-
线性SVM,线性可分SVM与核函数
SVM即支持向量机(support vector machine),是一种分类算法。SVM 适合中小型数据样本、非线性、高维的分类问题。它将实例的特征向量映射为空间中的一些点。如:而SVM要做的事情就是找到那么一条线, “最好地” 区分这两类点,以后有了新的点,这条线也能做出很好的分类。划分的线是可以有无数条的。那么哪一条线是最好的呢。SVM 将会寻找可以区分两个类别并且能使间隔(margin or gap)最大的划分超平面。比较好的划分超平面,样本局部扰动时对它的影响最小、产生的分类结果最原创 2021-06-27 19:08:29 · 2680 阅读 · 0 评论 -
不同决策树的区别,提升树,GBDT以及Adaboost
ID3,C4.5,CART在之前提到决策树的时候我们说到表示信息不确定度的值叫做信息熵数据集的信息熵:以及条件熵:表示在条件V确定后,对U仍然存在的不确定性。信息熵减去条件熵即为信息增益,反映的是信息在得到条件V后消除随机不确定性的程度,即条件V给的信息有多少。所以我们对于选择特征进行分类的时候,当然选择信息增益较大的特征,这样具有较强的分类能力。采用这种选择特征的方法得到的决策树我们叫做ID3。可是ID3有一个缺点就是对可取值数目较多的特征有所偏好。比如说我们提供学原创 2021-06-24 14:42:48 · 1054 阅读 · 0 评论 -
逻辑回归介绍
在上一篇博客里面我们介绍了线性回归,这一片里面我们介绍的是逻辑回归(Logistic Regression)。虽然我们称之为回归,但是实际上逻辑回归是一个分类模型,常用于二分类。具体什么是回归与fe...原创 2021-06-17 14:02:21 · 200 阅读 · 0 评论 -
决策树与随机森林
我们在学每一种语言的时候,都会学习语言中的逻辑结构,即if-else结构。基于现有的信息依次做出判断。今天要介绍的决策树就是起源于这种想法,利用这类结构分割数据的一种分类学习方法。比如说youmeimo...原创 2021-06-15 14:46:03 · 286 阅读 · 1 评论 -
朴素贝叶斯分类算法
在学习概率论的时候我们都学习过贝叶斯定理,即原创 2021-06-14 20:45:02 · 760 阅读 · 1 评论