![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
《统计学习方法,李航》
mmc2015
北大信科学院,关注深度强化学习。http://net.pku.edu.cn/~maohangyu/
展开
-
《统计学习方法,李航》:3、k临近法与kd树
以后文章就不再强调三要素(模型、策略、算法),而是直接上最新鲜的部分。1)k的选择2)距离的度量3)k临近法的实现:kd树 3.1)kd树的构造 3.2)kd树的搜索1)k的选择一般初始化为比较小的值,用交叉验证判断哪一个值更好。2)距离的度量我们更常用的是欧氏距离,即p=2。3)k临近法的实现:kd树k临原创 2015-01-18 20:06:09 · 2836 阅读 · 0 评论 -
《统计学习方法,李航》:4、朴素贝叶斯法
1)朴叶素贝斯模型2)朴素贝叶斯法的参数估计3)其他1)朴叶素贝斯模型首先明白朴叶素贝斯模型是分类模型。后验概率最大化的实质是期望风险最小化。2)朴素贝叶斯法的参数估计要计算P(Y=ck|X=x),就要计算P(Y=ck)和P(X(j)=x(j)|Y=ck):3)其他例子参考:http://blog.csdn.net/qll12原创 2015-01-19 22:39:47 · 1283 阅读 · 0 评论 -
《统计学习方法,李航》:1、概述
1)统计学习2)监督学习3)统计学习三要素4)模型评估与模型选择5)判别模型与生成模型1)统计学习 统计学习分为:监督学习(supervised learning)、无监督学习(unsupervised learning)、半监督学习(semi-supervised learning)、强化学习(reinforcement learnin原创 2015-01-15 22:48:18 · 1510 阅读 · 0 评论 -
《统计学习方法,李航》:10、隐马尔科夫模型
1)隐马尔科夫模型的引入 隐马尔科夫模型(hidden Markov model, HMM)是可以用于标准问题的统计学习模型,在语音识别、自然语言处理、生物信息、模式识别等领域有着广泛的应用。先给出隐马尔科夫模型的定义:给出严格的数学解释之前,先看个例子: 对于A、B、π的值,相信没有疑问,但是他们到底是指什么呢?下面给出严格的数学解释:原创 2015-01-25 14:04:18 · 1465 阅读 · 0 评论 -
《统计学习方法,李航》:9、EM算法及其推广(2)
1)EM算法的引入2)EM算法及简单解释3)EM算法在高斯混合模型中的应用4)EM算法的推广——GEM算法3)EM算法在高斯混合模型中的应用EM算法的重要应用是高斯混合模型的参数估计。先给出高斯混合模型:下面介绍利用EM算法估算高斯混合模型的参数theta:-)先明确一下目标:a)明确隐含变量,写出完全数据(直接变量+隐含原创 2015-01-24 20:58:13 · 1463 阅读 · 0 评论 -
《统计学习方法,李航》:2、感知机模型
1)概述2)感知器模型3)感知器策略4)感知器算法1)概述 感知机学习旨在求出将训练数据集进行线性划分的分类超平面(线性不可分的训练样例不能被感知器学习)。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。2)感知器模型 f(x)= sign(w*x+b)。其中,x为输入向量,原创 2015-01-16 21:23:44 · 1488 阅读 · 0 评论 -
《统计学习方法,李航》:8、提升方法Boosting(2)
1)Boosting思想和基本概念2)AdaBoost算法3)AdaBoost算法举例4)AdaBoost算法的解释——前向分步算法5)提升树算法6)提升树算法举例4)AdaBoost算法的解释——前向分步算法下面给出加法模型和前向分步算法的简单描述:一句话概括:前向分步算法就是分治的思想,把同时优化m=1...M的问题看原创 2015-01-23 13:21:23 · 1216 阅读 · 0 评论 -
《统计学习方法,李航》:7、支持向量机support vector machine(1)
0)基础知识——线性可分支持向量机定义;函数间隔和集合间隔定义1)线性硬间隔支持向量机2)凸二次规划最优解求法——对偶方法3)线性硬间隔支持向量机学习算法及简单实例4)线性软间隔支持向量机5)非线性支持向量机6)序列最小最优化算法(SMO算法)7)一些讨论0)基础知识——线性可分支持向量机定义;函数间隔和集合间隔定义原创 2015-01-21 20:36:51 · 4855 阅读 · 0 评论 -
《统计学习方法,李航》:6、logistic regression model
明白几点:1)logistic distribution2)binomial logistic regression model3)multi-nominal logistic regression model4)最大熵原理5)最大熵模型6)binomial logistic regression model、multi-nominal lo原创 2015-01-21 08:59:37 · 1785 阅读 · 0 评论 -
《统计学习方法,李航》:5、决策树
1)基本概念2)决策树的剪枝(针对ID3/C4.5生成的决策树)3)CART树之回归树生成法1)基本概念下面所有概念之前的文章有提到,不再重复。熵信息增益信息增益比基尼系数ID3算法C4.5算法CART算法2)决策树的剪枝(针对ID3/C4.5生成的决策树) 3)CART树之回归树原创 2015-01-19 23:17:34 · 2741 阅读 · 0 评论 -
《统计学习方法,李航》:9、EM算法及其推广(1)
1)EM算法的引入EM算法思想:EM算法引例:原创 2015-01-24 19:55:17 · 2929 阅读 · 0 评论 -
《统计学习方法,李航》:8、提升方法Boosting(1)
1)Boosting思想和基本概念2)AdaBoost算法3)AdaBoost算法举例1)Boosting思想和基本概念 下面的概念前面都讲过:PAC(probably approximately correct)学习框架强可学习(strongly learnable)弱可学习(weakly learnable)提升算法中最具有代原创 2015-01-23 12:55:35 · 2573 阅读 · 0 评论 -
《统计学习方法,李航》:7、支持向量机support vector machine(2)
0)基础知识——线性可分支持向量机定义;函数间隔和集合间隔定义1)线性硬间隔支持向量机2)凸二次规划最优解求法——对偶方法3)线性硬间隔支持向量机学习算法及简单实例4)线性软间隔支持向量机5)核函数6)非线性支持向量机7)序列最小最优化算法(SMO算法)8)支持向量5)核函数 对于原始空间(输入空间)线性不可分的情况,常用的办原创 2015-01-21 22:27:46 · 1943 阅读 · 0 评论