![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计学习
778811
这个作者很懒,什么都没留下…
展开
-
统计学习方法---朴素贝叶斯法
朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设的分类方法。其对条件概率分布作了条件独立性的假设。 对于一个特征空间实例点x=(x1,x2,......,xn): (P(X=x,Y=Ck)=P(Y=Ck|X=x)*P(X=x)=P(X=x|Y=Ck)*P(Y=Ck))原创 2016-07-08 14:55:44 · 375 阅读 · 0 评论 -
统计学习方法-----k近邻法
k近邻法(KNN)是一种基本分类与回归方法。k近邻法的输入为实例的特征向量,对应于特征空间的点,输出为实例的类别,可以多类。 简析:对输入的一个实例,取其最近邻的k个点组成集合,集合中的多数属于哪个类,则这个实例就属于哪类。 k近邻模型的三个基本要素:距离度量,K值选择,分类决策规则。1)距离度量: p值不同(即距离原创 2016-07-08 14:09:32 · 519 阅读 · 0 评论 -
统计学习方法学习--感知机
感知机是一个二类分类的线性分类模型,属于判别模型。输入为实例的特征向量,输出为实例的类别,取+1和-1值。感知机是神经网络和支持向量机的基础。 由输入空间到输出空间的函数是:f(x)=sign(w*x+b);其中sign是符号函数; 分离超平面S:w*x+b=0;该超平面将特征空间划分为两个部分,位于两部分的点分为正负两类。其中w为超平面的法向量(方向指向正类),b为超原创 2016-07-08 11:13:16 · 360 阅读 · 0 评论 -
统计学习方法----条件随机场3
条件随机场定义:给定随机变量X(观测序列)条件下,随机变量Y(状态序列)的马尔可夫随机场。 (由此可以看出,条件随机场是条件概率分布问题,马尔可夫随机场是联合概率分布问题。) 已知马尔可夫随机场中的联合概率分布问题可以分解为场中各个最大团的函数乘积问题,线性链条件随机场中条件概率分布P(Y|X原创 2016-07-14 22:26:22 · 808 阅读 · 0 评论 -
统计学习方法---条件随机场2
概率无向图模型(马尔可夫随机场)的因子分解----------写作图中所有最大团C上的函数的乘积形式。原创 2016-07-14 22:13:46 · 521 阅读 · 0 评论 -
统计学习方法--条件随机场1
条件随机场:给定一组输入随机变量条件下,获得另一组输出随机变量的条件概率分布模型。特点:假设输出随机变量构成马尔可夫随机场。这里主要讲:线性链条件随机场概率无向图模型:又称马尔可夫随机场,是一个由无向图表示的联合概率分布。模型定义:成对马尔可夫性: 局部马尔可夫性: 全局马尔可夫性:原创 2016-07-14 22:03:42 · 1145 阅读 · 0 评论 -
马尔可夫模型与条件随机场模型
条件随机场模型是由Lafferty在2001年提出的一种典型的判别式模型。它在观测序列的基础上对目标序列进行建模,重点解决序列化标注的问题。条件随机场模型既具有判别式模型的优点,又具有产生式模型考虑到上下文标记间的转移概率,以序列化形式进行全局参数优化和解码的特点,解决了其他判别式模型(如最大熵马尔科夫模型)难以避免的标记偏置问题。 条件随机场理论(CRFs)可以用于序列标记、数据分转载 2016-07-14 20:27:57 · 3324 阅读 · 0 评论 -
统计学习方法---隐马尔可夫模型2
这里仅关注其概率计算问题,概率计算问题有前向计算和后向计算两种方法,这里主要讲前向计算。原创 2016-07-14 16:53:48 · 513 阅读 · 0 评论 -
统计学习方法---隐马尔可夫模型1
隐马尔可夫模型三要素:初始状态概率向量,状态转移概率矩阵A 和观测概率矩阵B。隐马尔可夫模型作了两个假设: 1)任意时刻t的状态只依赖其前一时刻的状态; 2)任意时刻的观测只依赖该时刻的状态;原创 2016-07-14 16:38:14 · 730 阅读 · 0 评论 -
EM及高斯混合模型
本文就高斯混合模型(GMM,Gaussian Mixture Model)参数如何确立这个问题,详细讲解期望最大化(EM,Expectation Maximization)算法的实施过程。单高斯分布模型GSM多维变量X服从高斯分布时,它的概率密度函数PDF为:x是维度为d的列向量,u是模型期望,Σ是模型方差。在实际应用中u通常用样本均值来代替,Σ通常用样本方差来代替。很容易判断一个转载 2016-07-14 09:35:25 · 576 阅读 · 0 评论 -
统计学习方法----提升树
提升方法实际采用加法模型(即基函数的线性组合)和前向分布算法。以决策树为基函数的提升方法称为提升树。原创 2016-07-13 22:39:13 · 480 阅读 · 0 评论 -
统计学习方法---adaboost
AdaBoost 是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器,即弱分类器,然后把这些弱分类器集合起来,构造一个更强的最终分类器。(很多博客里说的三个臭皮匠赛过诸葛亮) 算法本身是改变数据分布实现的,它根据每次训练集之中的每个样本的分类是否正确,以及上次的总体分类的准确率,来确定每个样本的权值(增大被误分的样本的权值,保证下层分类器能够更充分地考虑这些被误分的样本)原创 2016-07-13 17:08:37 · 1214 阅读 · 0 评论 -
统计学习方法----决策树
决策树模型:树形结构,选择较优的特征,对实例进行分类的过程。 (可以与Adaboost算法结合使用,由弱分类器转化为强分类器)包含3个步骤:特征选择,决策树生成,决策树修剪。 (决策树的生成对应模型的局部选择,决策树的修剪对应模型的全局选择)1)特征选择: 准则:信息增益(ID3算原创 2016-07-12 21:55:12 · 859 阅读 · 0 评论 -
统计学习方法---决策树之ID3算法
ID3算法只有树的生成,所以该算法生成的树容易产生过拟合。原创 2016-07-12 22:13:52 · 1085 阅读 · 0 评论 -
几种分类方法简述
IDA--转换为特征空间;朴素贝叶斯---特征之间相互独立;决策树----挑选最优的特征;原创 2016-07-12 20:37:21 · 1434 阅读 · 0 评论 -
统计学习方法----k近邻法的实现:kd树
实现k近邻法时,主要考虑的问题是如何对训练数据进行快速k近邻搜索。 若逐个计算输入实例和训练数据之间的距离,搜索量过大。因此构建kd树,提高k近邻搜索的效率。 注:kd树的k指的是k维(即维数),k近邻法的k指的是与输入实例最近的k个点,两者不是一个意思。一、kd树的构造:原创 2016-07-08 14:23:40 · 982 阅读 · 0 评论