统计学习方法
qq_41393570
这个作者很懒,什么都没留下…
展开
-
统计学习方法——k近邻
一、K近邻模型 模型:特征空间的划分,基本三要素——距离度量、k值的选择何分类决策规则 策略:距离度量:欧式距离、曼哈顿距离等 k值:通常采用交叉验证(k越小,越容易过拟合) 分类决策规则:多数表决 二、KNN算法基本步骤:1)计算待分类点与已知类别的点之间的距离2)按照距离递增次序...原创 2018-07-18 15:30:49 · 232 阅读 · 0 评论 -
统计学习方法——朴素贝叶斯
一、朴素贝叶斯原理生成模型A、后验概率最大化的含义参考《统计学习方法》李航P48B、朴素贝叶斯法中参数的估计极大似然估计计算如下:贝叶斯估计(由于极大似然估计可能会出现求出来结果为0的情况,为了解决这一问题可以采用贝叶斯估计)具体如下: 假设ajl可能有Sj(第j个特征下值的种类数量)个可能值,假设ck可能有K(类的种类)个可能值,那么:上面式子...原创 2018-07-19 11:01:58 · 249 阅读 · 0 评论 -
统计学习方法——支持向量机
支持向量机是一种二分类模型,他的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大时它有别于感知机;支持向量机还包括核技巧,这使它成为实质上的非线性分类器,支持向量机的学习策略就是间隔最大化,课形式化为一个求解凸二次规划问题,也等价于正则化的合页损失函数的最小化问题,支持向量机的学习算法是求解凸二次规划的最优化算法。SVM中四个问题:①SVM思想;间隔最大化。②核函数:将原空...原创 2018-07-24 22:20:07 · 459 阅读 · 0 评论 -
统计学习方法——决策树
决策树是一种基本的分类与回归方法。 一、决策树模型决策树可以转换成一个if-then规则的集合,也可以看作是定义在特征空间划分的类的条件概率分布(特征为变量,类为概率)。CART与ID3、ID4.5的区别:CART假设决策树是二叉树,特征取值为“是”或“否”。 二,决策树的生成算法2.1、ID3、ID4.5算法ID3和C4.5输入:训练集D,特征集A,阀...原创 2018-07-20 22:28:10 · 373 阅读 · 0 评论 -
提升数—权值的思考
原创 2018-07-27 11:45:22 · 195 阅读 · 0 评论 -
EM算法的简述
用法:用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计本质:通过不断求解下界的极大化逼近求解对数似然函数极大化的算法。 上图中7.36式解释:①下界的公式;②若参数θ已知,则根据训练数据推断出最优应变量Z的值(E步);反之,若Z的值已知,则可方便地对参数θ做极大似然估计(M值)好文推荐:https://blog.csdn.net/zhihua_oba/article/...原创 2018-07-27 22:18:36 · 532 阅读 · 0 评论