模式识别
文章平均质量分 89
mengxiaozuo
计算机视觉 机器学习 模式识别 目标跟踪 图像处理 opencv
展开
-
1聚类分析介绍
1.1基本概念聚类就是一种寻找数据之间一种内在结构的技术。聚类把全体数据实例组织成一些相似组,而这些相似组被称作聚类。处于相同聚类中的数据实例彼此相同,处于不同聚类中的实例彼此不同。聚类技术通常又被称为无监督学习,因为与监督学习不同,在聚类中那些表示数据类别的分类或者分组信息是没有的。通过上述表述,我们可以把聚类定义为将数据集中在某些方面具有相似性的数据成员进行分类组织的过程。因此转载 2015-09-24 15:36:39 · 2236 阅读 · 0 评论 -
欧氏距离、巴氏距离、马氏距离的区别是什么
欧氏距离:(∑(Xi-Yi)2)1/2,即两项间的差是每个变量值差的平方和再平方根,目的是计算其间的整体距离即不相似性。我们熟悉的欧氏距离虽然很有用,但也有明显的缺点。它将样品的不同属性(即各指标或各变量)之间的差别等同看待,这一点有时不能满足实际要求。例如,在教育研究中,经常遇到对人的分析和判别,个体的不同属性对于区分个体有着不同的重要性。因此,有时需要采用不同的距离函数。如果用dij表示转载 2014-04-28 13:38:40 · 3713 阅读 · 0 评论 -
频率学派(Frequentists) 贝叶斯学派(Bayesians)
拉普拉斯说: “概率论只不过是把常识用数学公式表达了出来.” 我们的数学模型都不过是对客观事件规律的一个总结. 贝叶斯定理正是如此. 既然提到贝叶斯定理,就不得不提到频率学派(Frequentists)和贝叶斯学派(Bayesians).频率学派最重要的就是不断的重复(越多越 好, 趋近于无限);而贝叶斯学派讲的都是抽样和分布. 虽然贝叶斯学派的兴起才短短二十多年,但是从那时起两转载 2014-04-28 13:33:40 · 17392 阅读 · 0 评论 -
数据挖掘十大经典算法
国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法:C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法,其实参加评选的1转载 2014-04-28 12:57:16 · 1552 阅读 · 0 评论 -
支持向量机SVM分析
背景引言1995年Vapnik等人[2]提出一种机器学习的新方法支持向量机(Support Vector Machine,SVM)之后,支持向量机成为继人工神经网络之后又一研究热点,国内外研究都很多。支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的,根据有限的样本信息在模型的复杂性,即:对特定训练样本的学习精度和学习能力,即:无错误地识别任意样本的能力)之间寻求转载 2014-04-28 12:53:03 · 2114 阅读 · 0 评论 -
从几何解释SVD分解
介绍SVD分解(奇异值分解),实际上,SVD分解不但很直观,而且极其有用。SVD分解提供了一种方法将一个矩阵拆分成简单的,并且有意义的几块。它的几何解释可以看做将一个空间进行旋转,尺度拉伸,再旋转三步过程。基本理论首先来看一个对角矩阵,几何上, 我们将一个矩阵理解为对于点 (x, y) 从一个平面到另一个平面的映射:图1所示,显示了这个映转载 2014-04-28 12:49:28 · 1483 阅读 · 0 评论 -
一元函数正态积分
转载 2014-04-27 18:26:56 · 1013 阅读 · 0 评论 -
机器学习、统计分析、数据挖掘、神经网络、人工智能、模式识别,
很难说谁包含于谁,只能分开说每一个概念的意义,谁服务于谁。数据挖掘是一种概念,从数据中挖掘到有意义的信息。很多人认为数据挖掘是新学科,是基于大数据,其实不然,如果给你一个数据说李嘉诚有100多亿美元,再给你一个数据是全国平均人均可支配收入水平是13279元人民币,你能挖掘出一个信息叫,李嘉诚很有钱,这也是数据挖掘。只不过很小白而已。模式识别是目的,识别出一种模式,比如两个眼睛一转载 2014-04-27 18:11:59 · 1844 阅读 · 0 评论 -
光流Optical Flow介绍与OpenCV实现
光流(optic flow)是什么呢?名字很专业,感觉很陌生,但本质上,我们是最熟悉不过的了。因为这种视觉现象我们每天都在经历。从本质上说,光流就是你在这个运动着的世界里感觉到的明显的视觉运动(呵呵,相对论,没有绝对的静止,也没有绝对的运动)。例如,当你坐在火车上,然后往窗外看。你可以看到树、地面、建筑等等,他们都在往后退。这个运动就是光流。而且,我们都会发现,他们的运动速度居然不一样?这就给我们转载 2014-05-16 09:20:37 · 521 阅读 · 0 评论 -
最大似然估计方法
在实际问题中,我们通常得不到问题的概率结构的全部知识,我们只有利用训练样本来 估计 问题所涉及的先验概率和条件密度函数,并把这些估计结果当作问题真正的先验概率和条件密度函数,然后再设计分类器。已知概率密度函数的形式,估计其参数的这个过程即参数估计(Parameter Estimation)。常用的估计方法有 最大似然估计、最大后验估计、贝叶斯估计等。若设x=(x1,…,xn)是来自概率密度转载 2014-04-28 12:36:19 · 3953 阅读 · 0 评论 -
协方差矩阵的实例与意义
在机器学习中经常需要计算协方差矩阵,本科时没学过这个概念,一直对此非常头疼。现在试图通过实例的计算、图形化的表示来梳理一下什么是协方差矩阵。A numerical example问题:有一组数据(如下),分别为二维向量,这四个数据对应的协方差矩阵是多少?解答:由于数据是二维的,所以协方差矩阵是一个2*2的矩阵,矩阵的每个元素为:元素(i,j)转载 2014-04-28 14:06:15 · 17700 阅读 · 2 评论 -
贝叶斯定理决策规则及Bayes思想总结
贝叶斯定理决策规则及Bayes思想总结贝叶斯决策方法作为一种风险型决策方法,在实际中的应用较广泛。企业重要的经营决策大多是在不确定的情况下进行的,具有一定的风险性,决策的科学性及稳定性在很大程度上依赖于对未来决策所涉及各自然状态的把握程度。风险决策时方案选择决定于外界环境状态,而这种状态是无法确知的,更不受决策者控制,但通过判断、调查和实验,可以获得有关信息,贝叶斯决策理论为此提供了科学的方法转载 2014-04-28 12:38:30 · 6746 阅读 · 0 评论 -
模式识别扫盲
英文“Pattern”源于法文“Patron”,本来是指可作为大家典范的理想的人,或用以模仿复制的完美的样品。在模式识别学科中“模式”具有更广泛的意义。人们在观察事物或现象的时候,常常要寻找它与其他事物或现象的相同或不同之处,根据一定的目的把并不完全的事物或现象组成一类。字符识别就是一个典型的例子。例如汉字“中”可以有各种写法,但都属于同一类别。更为重要的是,即使对于某个“中”的具转载 2014-06-02 10:33:15 · 1016 阅读 · 0 评论 -
模式识别技术漫谈(1)
------引言 在人工智能技术(Artificial Intelligence)领域中,模式识别(Pattern Recognition)技术也许是最具有挑战性的一门技术了,模式识别有时又被称为分类技术,因为模式识别说到底就是对数据进行分类。说到识别,最为常用的便是模仿人的视觉的图像识别(当然还有语音识别),也许你会想当然地认为那还不简单,觉得我们用我们的眼睛可以轻而易举地识别出各转载 2014-06-02 10:26:41 · 1196 阅读 · 0 评论 -
机器学习中的相似性度量
在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement),这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究,甚至关系到分类的正确与否。本文的目的就是对常用的相似性度量作一个总结。本文目录:1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5. 标准化欧氏距离6转载 2014-04-28 13:45:13 · 731 阅读 · 0 评论 -
贝叶斯学派与频率学派有何不同?
本文为最近读有关贝叶斯统计学书籍的备忘录,写成于因大雪长时间停滞在济南的高铁上。伟大的先知总是被自己的时代遗弃,比如遗传学之父孟德尔,比如统计学家贝叶斯牧师。学《概率论》的时候,只是为了把这门课对付过去,过了1年重新读这方面的书籍又能重新感到其中的奥妙。统计学与其说是数学的一个分支,不如说更像是一种看待世界的方式和思想。其推理的核心方式是归纳式的,而非演绎式的,既然非演绎,那便很难转载 2014-04-28 13:31:21 · 2623 阅读 · 0 评论 -
先验概率、后验概率与似然估计
本文假设大家都知道什么叫条件概率了(P(A|B)表示在B事件发生的情况下,A事件发生的概率)。先验概率和后验概率教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。假设我们出门堵车的可能因素有两个(就是假设而已,别当真):车辆太多和交通事故。堵车的概率就是先验概率 。那么如果我们出门之前我们听到新闻说今天路上出了个交通事故,那么我们想算一下堵车的概率,转载 2014-04-28 13:25:02 · 605 阅读 · 0 评论 -
先验概率与后验概率的区别
此为Bayesian先生,敬仰吧,同志们! 先验(A priori;又译:先天)在拉丁文中指“来自先前的东西”,或稍稍引申指“在经验之前”。近代西方传统中,认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较,后验意指“在经验之后”,需要经验。这一区分来自于中世纪逻辑所区分的两种论证,从原因到结果的论证称为“先验的”,而从结果到原因的论证称为“后验的”。转载 2014-04-28 13:22:34 · 628 阅读 · 0 评论 -
贝叶斯决策
贝叶斯决策理论方法在进行分类时要求:(1)各类别的总体概率密度函数的分布是已知的;(2)要决策分类的类别数数是一定的特征空间、特征向量、先验概率、类条件概率密度函数、出发点:概率的不同分类决策与相应的决策代价之间的定量折中假定:所有的有关的概率结构已知-->基于常识的判别过程几种常见的决策规则1)基于最小错误率的贝叶斯决策实质:通过观察x把状态的先验概率P(转载 2014-04-28 13:19:16 · 841 阅读 · 0 评论 -
模式识别PR和模式的概念
引言模式识别所研究的理论和方法在很多科学和技术领域中得到了广泛的重视。了解与熟悉模式识别的一些基本概念与基本处理方法对研究与从事人工智能、图像处理、信息处理、计算机视觉、多媒体技术等方面工作的人们乃至计算机科学其它领域的人们都是很有益处的。模式识别(Pattern Recognition)Pattern Recognition (PR), 这个词对许多人来说很陌生,转载 2014-04-28 12:40:18 · 1005 阅读 · 0 评论 -
径向基网络(RBF network)之BP监督训练
之前看了流行学习的时候,感觉它很神奇,可以将一个4096维的人脸图像降到3维。然后又看到了可以用径向基网络来将这3维的图像重构到4096维。看到效果的时候,我和小伙伴们都惊呆了(呵呵,原谅我的孤陋寡闻)。见下图,第1和3行是原图像,维度是64x64=4096维,第2和第4行是将4096维的原图像用流行学习算法降到3维后,再用RBF网络重构回来的图像(代码是参考一篇论文写的)。虽然在重构领域,这效果转载 2014-05-16 09:14:47 · 975 阅读 · 0 评论 -
泛化误差,交叉验证和特征选择
机器学习的领域内涉及了大量的学习算法。算法多了,如何评价一个算法性能的优良程度,如何为特定的问题选择一个合适的算法,这都是需要解决的问题。泛化误差,交叉验证和特征选择就分别在不同的层次上解决了这个问题。泛化误差要评价一个预测算法的优劣,标准无非就是比较预测结果和真实结果的差别,差别越小,这个算法性能就越好,由此给出了经验风险的表达式其中,L(Y,f(X))叫做损转载 2014-05-08 13:21:29 · 1281 阅读 · 0 评论 -
什么是图像频率?
经常听到图像低频成份、高频成份等等,没有细想过,今天突然一想发现真的不明白是怎么回事,在知乎上发现某答案,引用如下:首先说说图像频率的物理意义。图像可以看做是一个定义为二维平面上的信号,该信号的幅值对应于像素的灰度(对于彩色图像则是RGB三个分量),如果我们仅仅考虑图像上某一行像素,则可以将之视为一个定义在一维空间上信号,这个信号在形式上与传统的信号处理领域的时变信号是相似的。不过是一个是转载 2014-05-08 13:34:24 · 4948 阅读 · 0 评论 -
理解矩阵
前不久chensh出于不可告人的目的,要充当老师,教别人线性代数。于是我被揪住就线性代数中一些务虚性的问题与他讨论了几次。很明显,chensh觉得,要让自己在讲线性代数的时候不被那位强势的学生认为是神经病,还是比较难的事情。可怜的chensh,谁让你趟这个地雷阵?!色令智昏啊!线性代数课程,无论你从行列式入手还是直接从矩阵入手,从一开始就充斥着莫名其妙。比如说,在全国一般工科院系教转载 2014-04-29 18:50:26 · 457 阅读 · 0 评论 -
聚类(5)-- Spectral clustering
Spectral clustering (谱聚类)是一种比较现代的聚类方法,基于图的分割(Graph cut)。不同于k-means需要数据点分布在N维欧式空间,谱聚类只需要知道数据点之间的相似性矩阵,就可进行运算,而不需要数据必须来自欧式空间。谱聚类通过对于由数据相似性矩阵出发构造的数据Laplacian矩阵进行谱分解,实现数据降维,即实现在新的低维特征空间中,数据可分度提高。转载 2014-04-29 17:09:36 · 501 阅读 · 0 评论 -
再谈协方差矩阵之主成分分析 2
自从上次谈了协方差矩阵之后,感觉写这种科普性文章还不错,那我就再谈一把协方差矩阵吧。上次那篇文章在理论层次介绍了下协方差矩阵,没准很多人觉得这东西用处不大,其实协方差矩阵在好多学科里都有很重要的作用,比如多维的正态分布,再比如今天我们今天的主角——主成分分析(Principal Component Analysis,简称PCA)。结合PCA相信能对协方差矩阵有个更深入的认识~PCA的缘起转载 2014-04-29 17:14:24 · 717 阅读 · 0 评论 -
聚类(3)-- Gaussian Mixtures Model
Gaussian Mistures Model(GMM) 假设数据集服从混合高斯分布(Mixture Gaussian Distribution),即认为整个数据集是由若干个高斯分布(每个高斯分布分别代表一个component)混合而成的,通过估计每个component的模型参数(均值和协方差),实现数据集密度估计以及将数据点以一定概率归属于某参数所代表的的高斯分布中,实现clustering。与转载 2014-04-29 17:06:59 · 834 阅读 · 0 评论 -
聚类(1)-- k-means clustering
作为一种无监督数据分析技术,聚类算法不需要提供导师信息,通过数据间的统计相关特性,采用迭代等方法实现相比不同cluster内部数据点间的相似程度,相同cluster数据点之间的相似性更高。作为最传统的聚类算法,k-means试图迭代计算一组聚类中心,使得在欧氏距离下,所有数据点到各自所在cluster的聚类中心的距离和最小,也就是使得within-cluster scatter转载 2014-04-29 17:03:41 · 1790 阅读 · 0 评论 -
主元分析(PCA)理论分析及应用
主元分析(PCA)理论分析及应用(主要基于外文教程翻译)什么是PCA? PCA是Principal component analysis的缩写,中文翻译为主元分析。它是一种对数据进行分析的技术,最重要的应用是对原有数据进行简化。正如它的名字:主元分析,这种方法可以有效的找出数据中最“主要”的元素和结构,去除噪音和冗余,将原有的复杂数据降维,揭示隐藏在复杂数据背后的简单结构。它转载 2014-04-29 18:58:58 · 2134 阅读 · 0 评论 -
浅谈协方差矩阵
今天看论文的时候又看到了协方差矩阵这个破东西,以前看模式分类的时候就特困扰,没想到现在还是搞不清楚,索性开始查协方差矩阵的资料,恶补之后决定马上记录下来,嘿嘿~本文我将用自认为循序渐进的方式谈谈协方差矩阵。统计学的基本概念学过概率统计的孩子都知道,统计里最基本的概念就是样本的均值,方差,或者再加个标准差。首先我们给你一个含有n个样本的集合X={X1,…,Xn},依次给出这些概念的公转载 2014-04-29 18:50:44 · 430 阅读 · 0 评论 -
聚类 6 Affinity Propagation
Affinity Propagation Clustering(吸引力传播聚类,简称AP算法)是2007在Science上发表的一篇single-exemplar-based的聚类方面的文章。特别适合高维、多类数据快速聚类,相比传统的聚类算法,从聚类性能和效率方面都有大幅度的提升,下文将详细介绍AP算法。对于个数据点的聚类问题,设定数据点为x(i),i= 1,2,...,N。吸引力转载 2014-04-29 17:11:11 · 1171 阅读 · 0 评论 -
Hierarchical clustering
前面谈到的聚类算法,最终输出的结果都是被被称为“flat”的,即平坦的,然后存在这样的情况,即数据集中是有层次的。例如,待分类的数据是3个家庭的成员,其中可能包括爷爷,奶奶,爸爸,妈妈,儿子,女儿。不同的家庭最终会形成一个树结构(这个例子可能不太合适,但是大概能说明问题,嘻嘻),在这种情况下,使用“flat”类型的聚类算法,例如k-means则无法揭示数据之间的层次关系,于是Hierarchica转载 2014-04-29 17:08:36 · 969 阅读 · 0 评论 -
【机器学习-斯坦福】学习笔记7 - 最优间隔分类器问题
本次课程大纲:1、 最优间隔分类器2、 原始优化问题&对偶优化问题(KKT条件)3、 SVM对偶问题4、 核方法(下一讲) 复习:支撑向量机中改动的符号:输出y∈{-1,+1}h输出的假设值也改为{-1,+1}g(z) = { 1 , 如果z>=0; -1, 如果zhw.b(x)=g(wTx+b),这里的b相转载 2014-05-07 15:08:41 · 576 阅读 · 0 评论 -
LDA(线性判别分析或称Fisher线性判别),PCA(主成份分析)代码及表情识别中的应用
1、LDA线性判别分析 http://blog.csdn.net/raby_gyl/article/details/20362373也称FLD(Fisher线性判别)是一种有监督的学习方法(supervised learning)。LDA的基本思想是:找到一个最佳的判别矢量空间,使得投影到该空间的样本的类间离散度与类内离散度比达到最大。转载 2014-05-07 15:25:02 · 1526 阅读 · 0 评论 -
K-邻近算法
一.k-邻近算法概述k近邻算法(KDD)采用测量不同特征值之间的距离方法进行分类。优点:精度高、对异常值不敏感、无数据输入假定缺点:计算复杂度高、空间复杂度高适用数据范围:数值型和标称型。k近邻法模型采用基于特征空间的划分,由距离度量、k值选择、分类决策规则决定。距离度量:两个实例点相似程度的反映。可以使用欧式转载 2014-05-07 16:55:06 · 762 阅读 · 0 评论 -
统计学习笔记(2)——感知机模型
感知机学习旨在求出将训练数据集进行线性划分的分类超平面,为此,导入了基于误分类的损失函数,然后利用梯度下降法对损失函数进行极小化,从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1. 感知机模型 感知机模型如下:f(x)= sign(w*x+b) 其中,x为输入向量,sign为符号函数,括号里转载 2014-05-08 13:27:13 · 704 阅读 · 0 评论 -
统计学习笔记(1)——统计学习方法概论
统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科,也称统计机器学习。统计学习是数据驱动的学科。统计学习是一门概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科。 统计学习的对象是数据,它从数据出发,提取数据的特征,抽象出数据的模型,发现数据中的知识,又回到对数据的分析与预测中去。统计学习关于数据的基本假设是转载 2014-05-08 13:24:53 · 571 阅读 · 0 评论 -
Machine Learning(Andrew)Week6(上)
采用机器学习的一些建议类似引言的部分假设你已经训练好了一个线性回归模型来预测房屋的价格,但是你在做新房屋价格预测的时候,发现误差太大了,这时该怎么办呢?线性回归成本函数:(1)找更多的训练数据(2)减少特征数(3)增加特征数(4)增加多项式特征(比如x1x2,x1^2……)(5)增大λ(6)减小λ机器学习诊断转载 2014-05-08 13:24:32 · 577 阅读 · 0 评论 -
统计学习笔记(3)——k近邻法与kd树
在使用k近邻法进行分类时,对新的实例,根据其k个最近邻的训练实例的类别,通过多数表决的方式进行预测。由于k近邻模型的特征空间一般是n维实数向量,所以距离的计算通常采用的是欧式距离。关键的是k值的选取,如果k值太小就意味着整体模型变得复杂,容易发生过拟合,即如果邻近的实例点恰巧是噪声,预测就会出错,极端的情况是k=1,称为最近邻算法,对于待预测点x,与x最近的点决定了x的类别。k值得增大意味着整体的转载 2014-05-08 13:29:58 · 530 阅读 · 0 评论 -
机器学习-Random Forest算法简介
Random Forest是加州大学伯克利分校的Breiman Leo和Adele Cutler于2001年发表的论文中提到的新的机器学习算法,可以用来做分类,聚类,回归,和生存分析,这里只简单介绍该算法在分类上的应用。 Random Forest(随机森林)算法是通过训练多个决策树,生成模型,然后综合利用多个决策树进行分类。 随机森林算法只需要两个参数:构建的决策树的个数t,转载 2014-05-08 13:19:03 · 678 阅读 · 0 评论