![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计学习理论
文章平均质量分 88
winds_lyh
这个作者很懒,什么都没留下…
展开
-
第三章 K近邻法
kkk近邻法(k−NN)(k−NN)(k-NN)是一种基本分类与回归方法。这里只讨论分类问题中的kkk近邻法。 输入:实例的特征向量,对应于特征空间的点; 输出:实例的类别,可以取多类 直观解释:给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的kkk个实例的多数属于某个类,就把该输入实例分为这个类。算法 3.1(k近邻法) 输入:训练数据集...原创 2018-05-25 18:45:29 · 275 阅读 · 0 评论 -
第九章 EM算法
a.EM算法与K-means算法的联系 b.EM算法要解决的问题 c.EM算法的推导 d.EM算法的收敛性思考 e.最大似然估计与EM算法的关系1. EM算法与K-means算法的联系k-means算法是一类无监督的聚类算法,目的是将没有标签的数据分成若干个类,每一个类都是由相似的数据组成。这个类的个数一般是认为给定的。k-means原理假设给定一个数据集X={x1,x2,...原创 2018-06-19 21:42:56 · 236 阅读 · 0 评论 -
第七章 支持向量机
支持向量机可分为:线性可分支持向量机,线性支持向量机,非线性支持向量机 线性可分支持向量机:当训练数据线性可分时,通过硬间隔最大化,学习一个线性的分类器,即线性可分支持向量机,又称硬间隔支持向量机; 线性支持向量机:当训练数据近似线性可分时,通过软间隔最大化,也学习一个线性的分类器,即线性支持向量机,又称软间隔支持向量机; 非线性支持向量机:当训练数据线性不可分时,通过适用核技巧或软间隔最大...原创 2018-06-10 16:13:09 · 525 阅读 · 0 评论 -
第十章 隐马尔科夫模型
隐马尔科夫模型3个基本问题隐马尔科夫模型有3个基本问题: (1)概率计算问题。给定模型λ=(A,B,π)λ=(A,B,π)\lambda=(A,B,\pi)和观测序列O=(o1,o2,...,oT)O=(o1,o2,...,oT)O=(o_1,o_2,...,o_T),计算在模型λλ\lambda下观测序列OOO出现的概率P(O|λ)P(O|λ)P(O|\lambda). (2)学习问题....原创 2018-06-23 10:12:35 · 154 阅读 · 0 评论 -
第5章 决策树
ID3 算法特征选择准则:信息增益 具体方法:从根结点开始,对结点计算所有可能的特征的信息增益,选择信息增益最大的特征作为结点的特征,由该特征的不同取值建立子结点;再对子结点递归地调用以上方法,构建决策树;直到所有特征的信息增益均很小或没有特征可以选择为止。最后得到一个决策树。ID3相当于用极大似然法进行概率模型的选择。 算法 1.2 (ID3算法) 输入:训练数据集D,特征集A,阈值ε...原创 2018-06-01 11:48:15 · 442 阅读 · 0 评论 -
第8章 AdaBoost算法
Bagging和Boosting的区别1)样本选择上:Bagging:训练集是在原始集中有放回选取的,从原始集中选出的各轮训练集之间是独立的.Boosting:每一轮的训练集不变,只是训练集中每个样例在分类器中的权重发生变化.而权值是根据上一轮的分类结果进行调整.2)样例权重:Bagging:使用均匀取样,每个样例的权重相等Boosting:根据错误率不断调整样例的权值,错...原创 2018-06-13 11:17:18 · 138 阅读 · 0 评论 -
第6章 逻辑斯蒂回归与最大熵模型
线性回归与逻辑回归的联系原创 2018-06-04 23:40:26 · 178 阅读 · 0 评论 -
第四章 朴素贝叶斯
1. 概念区分朴素贝叶斯与贝叶斯估计朴素贝叶斯: 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对给定的输入xxx,利用贝叶斯定理求出后验概率最大的输出yyy. 贝叶斯估计: 先验概率与后验概率先举个栗子: 假设停电主要有两个原因导致:电路损坏和忘充电卡。 停电的概...原创 2018-05-28 19:51:28 · 254 阅读 · 0 评论 -
第二章 感知机笔记
2.1 感知机模型定义2.1 (感知机) 假设输入空间(特征空间)是χ⊂R2χ⊂R2\chi\subset R^2,输出空间是Y={+1,−1}Y={+1,−1}Y=\{+1,-1\}.输入x∈χx∈χx \in\chi表示实例的特征向量,对应于输入空间(特征空间)的点;输出y∈Yy∈Yy\in Y表示实例的类别。由输入空间到输出空间的如下函数 f(x)=sign(w⋅x+b)f(x)=si...原创 2018-05-22 20:10:15 · 251 阅读 · 0 评论 -
第十一章 条件随机场
条件随机场(CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔科夫随机场。 定义1.1 (条件随机场)设XXX与YYY是随机变量,P(Y|X)P(Y|X)P(Y|X)是在给定XXX的条件下YYY的条件概率分布。若随机变量YYY构成一个由无向图G=(V,E)G=(V,E)G=(V,E)表示的马尔科夫随机场,即P(Yv|X,Yw,w≠v)=P(...原创 2018-06-27 17:34:48 · 182 阅读 · 0 评论