![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计学习笔记
DMU_lzq1996
这个作者很懒,什么都没留下…
展开
-
统计学习方法笔记1—概论
第一章统计学习方法概论1.1统计学习统计学习特点:计算机网络平台,数据驱动,构建模型,预测分析统计学习对象:data,具有一定统计规律的数据统计学习目的:预测分析统计学习方法:模型,策略,算法; 统计学习方法的步骤: 统计学习方法的研究:理论与应用统计学习方法重要性:数据挖掘领域核心技术1.2监督学习1.2.1基本概念输入空间,输...原创 2018-09-20 21:04:27 · 238 阅读 · 0 评论 -
统计学习方法笔记9—EM算法3
9.4 EM算法的推广9.4.1 F函数的极大—极大算法F函数?引理9.1:引理9.2:由定义9.33发现,F函数最大时,对数似然函数也最大。因此,EM算法的一次迭代也可以由F函数的极大算法实现。9.4.2 GEM算法求解F函数的极大化困难,改进算法每次迭代使得函数值增加:...原创 2018-11-07 12:22:18 · 220 阅读 · 0 评论 -
统计学习方法笔记8—提升方法3
8.4 提升树提升树是以分类树或者回归树为基本分类器的提升方法。8.4.1 提升树模型提升树模型可以表示为决策树的加法模型。8.4.2提升树算法提升树算法采用前向分步算法。回归问题的提升树:例子:...原创 2018-10-24 20:35:33 · 160 阅读 · 0 评论 -
统计学习方法笔记9—EM算法1
EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计。每次迭代分两部:E步求期望,M步求极大9.1 EM算法的引入概率模型既含有观测变量,又含有隐变量或潜在变量。只有观测变量可以使用极大似然估计法,当含有隐变量时就要使用EM法:隐变量的极大似然估计9.1.1 EM算法例:三硬币模型y是观测变量,取值1或0;z是隐变量,表示A的结果(不可见)0是模型参数:π,p,q...原创 2018-10-25 19:36:55 · 251 阅读 · 0 评论 -
统计学习方法笔记8—提升方法2
8.2 AdaBoost算法的训练误差分析AdaBoost最基本的性质,通过学习过程不断减少训练误差,即在训练数据集上的分类误差率。8.2.1训练误差界其中:8.2.2二分类问题的训练误差界通过分离误差界表明:AdaBoost的每次迭代可以减少它在训练数据集上的分类误差率,表明了作为提升方法的有效性。8.3 AdaBoost算法的解释解释:加法模型;损失函数为指数函数;学习...原创 2018-10-22 11:54:38 · 164 阅读 · 0 评论 -
统计学习方法笔记8—提升方法1
8.1 提升方法AdaBoost算法8.1.1 提升方法的基本思路8.1.2 AdaBoost算法说明:8.1.3 AdaBoost的例子原创 2018-10-12 16:18:21 · 221 阅读 · 0 评论 -
统计学习方法笔记1-7章章结
第一章 统计学习方法概论第二章 感知机第三章 k近邻法第四章 朴素贝叶斯法第五章 决策树第六章 逻辑斯蒂回归与最大熵模型第七章 支持向量机...原创 2018-10-04 16:22:46 · 121 阅读 · 0 评论 -
统计学习方法笔记7—支持向量机4
7.4 序列最小最优化算法(求解凸二次规划问题)序列最小最优化(SMO)算法:选择两个变量,固定其他变量。KTT条件:https://blog.csdn.net/xianlingmao/article/details/79195977.4.1 两个变量二次规划的求解方法假设选择两个变量,其他变量是固定的。则SMO最优化问题的子问题转化为:7.4.2 变量的选择1.第一个变量的选择...原创 2018-10-04 16:14:05 · 145 阅读 · 0 评论 -
统计学习方法笔记7—支持向量机3
7.3 非线性支持向量机与核函数7.3.1 核技巧非线性分类问题非线性解决思路:转化为线性分类问题核技巧:欧几里得空间与希尔伯特空间:https://blog.csdn.net/shijing_0214/article/details/51052208核函数定义核技巧在支持向量机中的应用线性支持向量机中的目标函数和分类决策函数的内积用核函数来代替:这等价于经过映射函数将...原创 2018-09-27 15:41:49 · 180 阅读 · 0 评论 -
拉格朗日乘子法和KTT条件
https://blog.csdn.net/lijil168/article/details/69395023转载 2018-09-26 18:19:20 · 228 阅读 · 0 评论 -
统计学习方法笔记7—支持向量机2
7.1.4 学习的对偶算法求解线性可分支持向量机的最优化问题:运用拉格朗日对偶性,求解对偶问题得到原始问题的解。拉格朗日对偶问题:https://blog.csdn.net/blackyuanc/article/details/67640844(1)利用w,b求min L(w,b,a)(2)求min(w,b,a)对a的极大对偶问题的解与原始问题的解之间的关系:线性可分支持向量...原创 2018-09-26 17:45:21 · 225 阅读 · 0 评论 -
统计学习方法笔记7—支持向量机1
第七章 支持向量机支持向量机(support vector machines,SVM)是一种二类分类模型,基本模型是定义在特征空间上的间隔最大的线性分类器。7.1 线性可分支持向量机与硬间隔最大化7.1.1 线性可分支持向量机支持向量机的学习都是在特征空间进行的。学习的目标:特征空间找到一个分离超平面w*x+b=0将实例分到不同的类。感知机利用误分类最小策略求得分离超平面;线性可分向量...原创 2018-09-25 18:13:04 · 374 阅读 · 0 评论 -
统计学习笔记6—逻辑斯谛回归与最大熵模型
第六章 逻辑斯谛回归与最大熵模型6.1 逻辑斯谛回归模型6.1.1 逻辑斯谛分布6.1.2 二项逻辑斯谛回归模型模型定义:将b加入到内积中:几率定义:该事件发生的概率与不发生的概率的比值。则逻辑斯谛回归的几率为:6.1.3 模型参数估计模型参数w估计:极大似然估计求解过程:6.1.4 多项逻辑斯谛回归6.2 最大熵模型6.2.1最大熵原理鸡蛋篮子原理:在信...原创 2018-09-24 11:00:05 · 445 阅读 · 0 评论 -
统计学习方法笔记5—决策树
第五章 决策树5.1决策树模型与学习5.1.1决策树模型分类决策树模型由结点和有向边组成,结点分为内部结点和叶节点,内部结点表示特征或属性,叶节点表示一个类。决策树的分类过程:从根节点,对实例某一特征进行测试,根据测试结果将实例分配到子节点。5.1.2 决策树与if-then规则if-then规则:由根节点到叶节点的每条路径构建一条规则:内部结点表示条件,叶节点表示结论,且每个实例都...原创 2018-09-23 11:35:37 · 303 阅读 · 0 评论 -
统计学习笔记4—朴素贝叶斯法
第四章 朴素贝叶斯法4.1朴素贝叶斯法的学习与分类4.1.1基本方法朴素贝叶斯法通过训练数据集学习联合概率分布。利用先验概率分布和条件概率分布求得联合概率分布:条件概率参数是指数级,太复杂—条件独立性假设:用于分类的特征在类确定的条件下是独立的。朴素贝叶斯分类器:4.1.2 后验概率最大化的含义朴素贝叶斯法就是将实例分到后验概率最大的类中。因此期望风险最小化就是后验概率最大...原创 2018-09-22 10:17:22 · 223 阅读 · 0 评论 -
统计学习笔记3—K-近邻
第三章 k-近邻法k-近邻法实质是对于新的实例,根据最邻近的训练实例的类别,通过多数表决的方式进行预测。而k-近邻法的学习过程实质是利用训练数据集对特征空间进行划分。k-近邻法的三个要素:k值选择,距离度量和分类决策。3.1 k-近邻算法直观解释:在训练数据集中找到距离输入实例最近的k个点,根据这k个点来判断实例类别。算法过程:3.2 k近邻模型3.2.1 模型k近邻模型是指对特征...原创 2018-09-21 10:53:41 · 119 阅读 · 0 评论 -
统计方法笔记2—感知机
第二章 感知机感知机是二类分类的线性分类模型,输入实例特征向量,输出+1和—1两个类别。即将输入空间划分为正负两个超平面,属于判别模型。2.1感知机模型感知机定义:感知机解释:线性方程w*x+b=0是一个超平面,其中w是法向量,b是截距,该超平面将特征空间划分为两个部分,位于两部分的点划分为正负两类。2.2感知机学习策略2.2.1数据集的线性可分性数据集的线性可分性:存在超平面将...原创 2018-09-21 10:03:42 · 159 阅读 · 0 评论 -
统计学习方法笔记9—EM算法2
9.2 EM算法的收敛性收敛定理9.1观测数据的似然函数单调递增收敛定理9.2EM算法是收敛性包含对数似然函数序列的收敛性和关于参数估计序列的收敛性,即一定可以通过迭代发现似然函数的极值点。9.3 EM算法在高斯混合模型学习中的应用9.3.1 高斯混合模型(概率分步模型)9.3.2高斯混合模型参数估计的EM算法1.明确隐变量,写出对数似然函数:隐变量:反应观测数据的高斯分布...原创 2018-11-05 12:23:06 · 274 阅读 · 0 评论