关注
分享
eternity1118_
不积跬步无以至千里，不积小流无以成江海
展开
-
模式识别（Pattern Recognition）学习笔记（三十五）-- K-L变换与PCA
K-L变换的理论知识K-L变换是除了PCA外的另一种常用的特征提取方法，它有很多种形式，最基本的形式跟PCA类似，它跟PCA的不同在于，PCA是一种无监督的特征变换，而K-L变换能够考虑到不同的分类信息，实现有监督的特征提取。根据随机过程中的KL展开理论，将随机过程描述为无数个正交函数的线性组合，而在模式识别问题中，通常可以将一个样本看成是随机向量的某一次实现结果，所以假设有一d维随机向量原创 2016-06-23 17:20:16 · 9479 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（三十四）-- 主成分分析（PCA）
一个模式识别系统设计的好坏，首要取决于所选用的特征是否较好的反映了正在研究的问题。模式识别问题的第一步是获取特征，获取来的特征被称作原始特征，其中可能有很多特征与我们研究的问题没多大关系，甚至它们在后续的分类中还有可能影响分类性能；另外，就算这些特征都是与研究问题有联系的，但是太多的特征会导致计算量大、推广能力差，所以原始特征要进一步清洗得到二次特征，即在保证分类器效果的前提下应该使特征数尽可能的原创 2016-06-20 21:40:01 · 8297 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（三十三）-- Boosting方法之AdaBoost
Boosting最早被用在电力电子技术学科中的升压（Boost）变换器中，原本是想通过升压来提高功率，现在将这一提高功率的思想引入到模式识别方法中，它的含义就变成通过融合多个分类器，从而大大提高分类器的性能。Boosting方法和随机森林的思想很类似，当采用基于简单模型的单个分类器对样本进行分类的效果不理想时，我们希望能够通过构建并整合多个分类器来提高最终的分类性能，我们通常将这种不太理想的单原创 2016-06-20 15:09:45 · 1732 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（三十二）-- 逻辑回归
在有些模式识别问题中，如癌症病人的诊断，一个细胞是否是癌细胞，这种问题不能简单的用线性回归来研究特征与分类之间的关系。大多数情况中，某一特征对一个对象事物的影响是这样：在某一段范围内，可能属于一个类别，但是在下一个范围内又可能属于另一个类别，然后在下下一个范围可能又不同类，像这种比例渐进式的影响关系很难用一个模型假设来表达，该如何下手呢？要知道虽然类别与特征之间没有一个明确可建立的关系表达，但是归原创 2016-06-17 17:56:04 · 2531 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（三十一）-- 线性回归
1.监督学习回归算法通常用在监督学习中的学习算法，所以在讲回归之前，先来说说监督学习。我们已经学习了很多的分类器设计方方法，如感知器、SVM等，他们的共同特点都是，根据给定的带有类别标签的样本，训练学习机器，然后使得机器能够对新来的无标签样本进行正确分类，像这种就属于监督模式识别，对学习机器来说就是监督学习。举个栗子，就拿老师们讲课最喜欢用的预测房价的例子，图形表示监督学习的过程如下：原创 2016-06-17 16:08:06 · 4921 阅读 · 6 评论 -
模式识别（Pattern Recognition）学习笔记（三十）--随机森林（Random Forest）
引言 模式识别是一门基于数据的学科，因此所有的模式识别问题都会面临的同一个问题就是数据的随机性问题。模式识别中每个方法的实现都是基于一个特定的数据样本集的，但是这个样本集只是所有可能的样本中的一次随机抽样，毕竟在我们的生活实际中存在着万物众生，多到我们数也数不清，甚至计算机都无法统计的清，而我们搜集到的充其量只是其中很小很小的一部分，这也是为什么机器学习中缺少的只是数据，只要有足够原创 2016-06-16 17:11:23 · 5453 阅读 · 1 评论 -
模式识别（Pattern Recognition）学习笔记（二十九）--决策树的剪枝
在有限的样本下，如果决策树生长得很大，树枝很多，那么就有可能导致有限样本中对采样的偶然性或噪声比较敏感，导致过学习，从而范化能力差。 首先来看一幅图，如图：上图是一次测试中用ID3算法得到的有关决策树的大小与在训练数据和测试数据上的正确率的关系，不难看出，出现了过学习，如果样本不足够多，随着决策树达到一定规模大小，训练数据上的正确率会不断增加，而在测试数据上的正确率不增原创 2016-06-16 15:19:47 · 2405 阅读 · 1 评论 -
模式识别（Pattern Recognition）学习笔记（二十八）-- 决策树
1.数值特征与非数值特征学习分类这么久，不知道大家有没有注意一个问题，那就是我们的输入样本数据都是基于数值计算的，因此在近邻法中才可以计算距离这一说，这种可以用数值来描述的对象特征，我们称之为数值特征，但是在我们生活中所涉及的分类问题并非都是用数值特征来描述某个研究对象的，因此与数值特征对应的就是非数值特征，比如男生和女生比较喜欢什么样的颜色等等。关于非数值特征，主要有以下几种：1）名原创 2016-06-16 12:19:23 · 7686 阅读 · 2 评论 -
模式识别（Pattern Recognition）学习笔记（二十七）-- 基于树搜索算法的快速近邻法
近邻法中计算距离需要遍历，带来很大的计算量和存储量，为了改善这两方面的性能，有人提出采用分枝界定算法（Branch-Bound Algorithm）来改进近邻法，主要分为两个阶段：1）利用人工划分或K-means聚类算法或其他动态聚类算法将样本集X划分成层级形式，形成一个树结构；2）利用树搜索算法找出与未知样本的k个近邻。1.层级划分1）将样本集X划分成l个子集，每个子集再分成l个子集，原创 2016-06-15 11:33:03 · 4469 阅读 · 2 评论 -
模式识别（Pattern Recognition）学习笔记（二十六）--k近邻
1.简介 在样本有限的情况，样本分布不规律且含有噪声的情况下，用最近邻来做决策难免有一定风险，因此对其引入打分机制，对未知样本的决策，不仅仅只依赖于最近的那一个已知样本，更可靠的做法是选择k个距离未知样本最近的已知样本，然后在这k个类别中进行打分来决定最后应该决策给谁。显然，最近邻就是1近邻。 另外，回顾下前面在讲概率密度函数的非参数估计时，是不是也提到了k近邻，没错原创 2016-06-14 16:08:19 · 1645 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（二十五）--最近邻法
1.简介 本篇文章开始，会陆续学习一些其它的常用的非线性分类方法，虽然它们同属于非线性方法，但是它们与前面介绍的稍有不同，原理上具有特殊性，这篇就来学习近邻法中的最近邻法。最近邻法是基于这样一个基本思想的：把一个新样本逐一与已知分好类的样本进行比较，然后把与其距离最近的样本类别作为它的类别，这种思想是不是很好理解，有点类似于我们学英语中的就近原则。2.原理 已知原创 2016-06-14 14:48:17 · 3512 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（二十四）--总结：SVM学习资源
本篇文章对不同阶段的SVM进行严格梳理和总结，不管是初级版的SVM，还是升级版的SVM，你都会发现其实在SVM中一直是有两个核心在贯穿其中的，相信看完本篇的学习，你就会对SVM这个重要级的分类器有个全面的了解，或者有自己的体会，好吧，开始吧，Good luck。。1.核心思想 对于任何非线性方法，如果对特征进行适当的变换，那么久总可以得到相应的线性方法，但是这种变换有时会带来两原创 2016-06-14 11:02:14 · 2486 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（十八）--感知器与神经网络
1.什么是人工神经网络（ANN）？1.1ANN的由来 在人工智能中，有两个研究方向：1）先试图对人类或其他高等动物的自然智能建立一定的数学模型，然后借助这种方式来帮助理解智能活动的奥秘；2）通过数学手段，利用计算机建立具备一定智能的机器。回顾下前面学习的贝叶斯决策和线性的非线性的判别方法，可以发现，它们显然对应于第二种研究方向，都是直接从数学的角度来分析数据的分布，建立线性的或原创 2016-06-03 18:52:39 · 3389 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（二十三）-- SVM的两大思想：大间隔与核函数
0.引言上节讲到广义线性判别函数，它是从任意阶非线性判别函数到线性判别函数的一种有效变换，但是这种变换是以牺牲特征空间维数为代价的，如果能很好地处理这种维数灾难，那么上述变换也是极好的，有没有可能在特征空间上作变换呢，从而将原空间中的非线性问题转化为新空间中的线性问题，答案是肯定的，今天我们来学习如何构造这种非线性的支持向量机，因为它就是采用引入特征变化这一思路来实现的，但是值得注意的是，支持原创 2016-06-13 22:31:33 · 9461 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（二十二）--广义线性判别函数
前面讨论过在样本线性可分与不可分下的SVM，知道了不管是样本可分还是不可分，不管是狭义的还是广义的，它都是属于线性，那么我们应该如何构造非线性的SVM呢？本篇文章先不讲有关如何构造的问题，先来讨论下传统的广义线性判别函数，从它入手也正是为将来如何构造非线性的SVM打下良好基础。 首先回顾下线性判别函数，不知道大家还有印象没，对于一个两类问题其形式为，根据线性代数知识，我们知道这是一原创 2016-06-13 16:16:17 · 4927 阅读 · 0 评论 -
软分类和硬分类
在统计学习中，有两种模型：概率模型和非概率模型；概率模型：形式为P(x|y)，即在学习过程中，y未知，训练后模型得到的输出是x的一系列值的概率；非概率模型：形式为决策函数，即输入x到输出y的一个映射，且输出唯一；软分类：使用的是概率模型，输出不同类对应的概率，最后的分类结果取概率最大的类，如多SVM组合分类；硬分类：使用的是非概率模型，分类结果就是决策函数的决策结果；原创 2016-05-28 17:11:14 · 6757 阅读 · 2 评论 -
模式识别（Pattern Recognition）学习笔记（二十一）--再谈（人工）神经网络（ANN）
1.简介 目前为止，通过MLP和BP算法的学习，我们已经接触了神经网络，并且知道了最具有代表性的一种模型“多层感知器”，这篇文章对ANN做个详细的总结和概述。 一般来讲，ANN可以看做是由大量简单计算单元（神经元节点）经过相互连接而构成的学习机器，网络中的某些因素，如连接强度（权值）、节点计算特性、网络结构等，可以按照一定的规则或算法根据样本数据来进行相应的调整（训原创 2016-06-12 17:11:25 · 8451 阅读 · 1 评论 -
模式识别（Pattern Recognition）学习笔记（二十）--BP算法
1.引言在无法像线性感知器一样利用梯度下降学习参数这一问题阻碍了MLP长达25年后的一天，有人给出了一种有效的求解这些参数的方法，就是大名鼎鼎的反向传播算法（Back Propagation），简称为我们熟知的BP算法（特别注意，BP算法是一种算法，一种机器学习算法，而并非一种网络或模型）。BP的主要突破，在于用Sigmoid函数替代了原始MLP中的阶跃函数作为网络的传递函数。2.传递函数原创 2016-06-12 12:31:36 · 8114 阅读 · 1 评论 -
模式识别（Pattern Recognition）学习笔记（十九）--多层感知器模型（MLP）
早前已经学习了感知器学习算法，主要通过对那些错分类的样本进行求和来表示对错分样本的惩罚，但明显的它是一个线性的判别函数；而且上节学到了感知器神经元（阈值逻辑单元），对于单个的感知器神经元来说，尽管它能够实现线性可分数据的分类问题（如与、或问题），但是却无法解决非线性问题，如逻辑学里的异或（XOR）问题甚至是高阶，那么这样的问题该如何利用简单学习机器来解决呢？ 回想下前面在非线性分类原创 2016-06-08 14:57:40 · 1922 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（十七）--二次判别函数
前面提到，当概率密度函数满足高斯分布或正态分布的情况，贝叶斯决策的分类面就是一个二次函数，这篇博客来学习有关二次判别。 首先给出二次判别函数的一般形式： （1）其中，W是d阶对称方阵，w为d维权向量； 从判别式中可以看出，有很多参数，其中等式右边第二项就有d(d+1)/2个参数，很明显，这是一个O(n^2)的复杂度，如果仍然像学原创 2016-06-01 10:59:47 · 4923 阅读 · 0 评论 -
模式识别学习笔记（十六）--非线性分类器
前面的学习中，我们学习了有关线性分类器的相关知识，但是要知道，很多情况下我们并不能保证类别间的分类面是线性的（线性是最简单的情况），而且许多复杂问题中，可能采用非线性分类器更适合问题的解决；因此接下来开始，继续学习有关非线性分类器的东西，必要时可以跟前面线性分类器进行一个总体的比较，帮助加深印象。常用的非线性分类器主要有两大类：基于判别函数的和非基于判别函数的；基于设计判别函数的非线性分类原创 2016-05-31 18:35:33 · 5335 阅读 · 1 评论 -
模式识别（Pattern Recognition）学习笔记（一）--何为模式识别
一、什么是模式和模式识别？ 当我们人眼看到一幅画时，我们能够很清晰的知道其中哪里是动物，哪里是山，水，人等等，但是人眼又是如何识别和分辨的呢，其实很简单，人类也是在先验知识和对以往多个此类事物的具体实例进行观察的基础上得到的对此类事物整体性质和特点的认识的，并不是人类原本就有对这类事物的记忆，就好比婴孩时期的我们，并不知道什么是狗，什么是帅哥，什么是美女，但是随着我们的慢慢长大，原创 2016-04-09 16:01:47 · 41931 阅读 · 16 评论 -
模式识别（Pattern Recognition）学习笔记（三）——最小错误率贝叶斯决策
模式识别问题中，我们分类时最希望分类错误率可以降到最低，因此从这个目标出发，得到的分类决策就被称作最小错误率贝叶斯决策，该决策规则可写为： (1)1.两类决策： 式(1)中，对于所有x，P(e|x)和p(x)均非负，于是决策可以转化为对所有x最小化P(e|x)得到;根据贝叶斯决策理论可知，使错误率最小的决策就是使后验概率最大的决策，因原创 2016-04-12 13:40:03 · 19760 阅读 · 2 评论 -
模式识别（Pattern Recognition）学习笔记（四）——最小风险贝叶斯决策
前面提到了最小错误率的贝叶斯决策，可以说大多数情况中，我们都是用的这一准则的决策方式，但对于一些特殊的场合，比如一个癌症病人的癌细胞判别中，相比于错误率，我们更关心的应该是判别错误所带来的损失，因此在这种情况下，我们就不能使用最小错误率准则来决策了，而要使用一种新的决策准则——最小风险贝叶斯决策。 所谓的最小风险贝叶斯决策，就是各种错误决策所造成不同损失时，选择造成损失（也即风险原创 2016-04-12 16:48:07 · 7871 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（五）——概率密度函数（pdf）的参数估计
回顾下贝叶斯决策，它的终极目标是要获取后验概率，而后验概率又可以由先验概率和类条件概率密度两个量估计得到。先验概率的估计相对来说比较简单，一般有两种方法，其一可以用训练数据中各类出现的频率来估计得到；其二可以依靠经验，不管哪种方法都不会很难，而对于类条件概率密度来说，估计往往会难得多，因此对于它的估计会是贝叶斯决策的重点。 有关概率密度函数的估计，统计类的书籍（像概率论与概率统计）原创 2016-04-15 10:22:01 · 4308 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（八）--Fisher线性判别分析
线性判别分析（Linear Discriminant Analysis）由Fisher与1936年提出，示线性判别方法中最具代表性的一种，简称LDA，又叫Fisher判别。为了更好的引出Fisher判别，同样这里拿两类问题来话明，并换一个角度来考虑：遇到两类问题时，我们要想把他们区分开，很明显的就是找到他们之间的分界线，这个分界线有很多，但我们却总能够一眼看出最最合适的那一条，如果我们作出这条原创 2016-05-18 15:58:07 · 4489 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（十一）--SVM支持向量机（狭义）：大间隔
1.最优分类超平面对于感知器，我们知道了在梯度下降迭代过程中，只要选择的权向量初始值和不同的步长，就会产生不同的解，想象一下，只要样本集是线性可分的（不考虑线性不可分的情况），就会有无数个决策面可以将它们分开，不同的只是距离超平远近的问题，因此对于这种问题就会存在多解性，如图1，但是我们要想办法找到这多解中的最优的一个解，即最优分类超平面。接下来，再想象一下，如果让你来对上图中的两原创 2016-05-23 10:39:47 · 3515 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（十二）--SVM（广义）：大间隔
在学习之前，先说一些题外话，由于博主学习模式识别没多久，所以可能对许多问题还没有深入的认识和正确的理解，如有不妥，还望海涵，另请各路前辈不吝赐教。 好啦，我们开始学习吧。。 同样假设有样本集：由于线性不可分，所以 不会对每一个样本都满足，就是说肯定会有一些小于1的样本，对于这些样本我们怎么办呢，想象一下，如果我们在不等式两边同时加上一个正数，是不是总会让它不小于原创 2016-05-24 10:16:25 · 3662 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（十三）--多类线性分类器
模式识别（Pattern Recognition）学习笔记（十三）--多类线性分类器如有错误还望海涵，谢谢。引言 在之前的学习和讨论中，均是围绕的两类问题来展开，但这毕竟不结合实际，实际应用中面临更多的往往是多类分类问题，如钞票代码识别中，10个数字的识别和26个英文字母的识别等。 通常来说，解决多类问题的基本思路有两种：一是把多类问题分界成多个两类问题，通原创 2016-05-25 12:12:59 · 5969 阅读 · 1 评论 -
模式识别（Pattern Recognition）学习笔记（十四）--多类线性判别函数
模式识别（Pattern Recognition）学习笔记（十四）--多类线性判别函数如有错误还请海涵，多谢。。 首先，将多类线性判别函数记为： 按照上一节学习的多类分类器的设计思想，很明显对于c类问题，就有c个判别函数： （1）如果哪一类的判别函数最大，就决策为哪一类：if ，then （2原创 2016-05-25 13:44:32 · 2096 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（十五）--机器学习的范化能力（推广能力）
如有错误还请指正，并望海涵。。谢谢。。 模式识别是一种基于数据的机器学习，学习的目的不仅是要对训练样本正确分类，而且能对测试样本正确分类，这种能力叫做推广能力或范化能力。 如何评估一个学习机器的推广能力呢？ 设某一样本x，其真实所属类别标签为y，用判别函数f(x,w)来估计y，估计过程中带来的损失为L(y,f(x,w))，则在某个w下对所有训练样本的原创 2016-05-25 14:20:10 · 2664 阅读 · 0 评论 -
P-N学习
本文翻译自Zdenek Kalal的论文Tracking-Learning-Detection ，PAMI 2010，其中还夹杂我自己的理解，如有错误，还望包涵。 另外，有关P-N学习的更详细知识，可参考Zdenek Kalal的论文PN-learning:Bootstrapping Binary Classifiers by Structural Constraints, Zde翻译 2016-05-25 18:28:52 · 3888 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（九）--感知器
感知器是一种可以直接得到线性判别函数 的线性分类方法，由于它是基于样本线性可分这样的一个要求下使用的，所以，首先来了解下什么是线性可分与线性不可分。1.线性可分与线性不可分首先，为了打好基础，我们将上面线性判别函数中的样本向量x增加一维常数，我们称为增广样本向量，并记为y： (1)同样地，对于权向量，也做这样的增广，称之为增广权向量： （2）因此原创 2016-05-19 16:51:09 · 7024 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（十）--最小平方误差判别（MSE）
上篇介绍了样本线性可分下的Fisher判别，这篇开始介绍样本不可分下的判别--MSE。 最小平方误差（又叫最小二乘误差）判别是针对样本线性不可分的情况来讨论的，因此当样本不可分时，就有可能出现错分，就不可能所有样本都满足，对于这种问题，我们有一个约定，就是求解一个解向量使得出现错分的样本尽可能的少，换句话说，就是要通过解不等式组来是错分样本数最小化。为了求解方便，引入常数向量，将原创 2016-05-20 17:45:44 · 5894 阅读 · 1 评论 -
模式识别（Pattern Recognition）学习笔记（七）——线性分类器及线性判别函数
1.为什么要设计分类器？ 回顾下前面学习的统计决策，也就是贝叶斯决策，它可以简单被划分为两步，首先根据样本进行PDF估计，然后根据估计出的PDF来求分类面，因此又经常被叫做两步贝叶斯决策。如果我们能够很好地估计出PDF模型，也总可以利用贝叶斯来实现两类甚至多类的最优分类，但是很多实际情形中，想要精准的估计出PDF模型，并非易事，尤其当样本存在高维特征空间，以及样本数量并不足够多的情原创 2016-04-26 15:05:18 · 16316 阅读 · 0 评论 -
模式识别（Pattern Recognition）学习笔记（六）——概率密度函数的非参估计
上篇学习了PDF的参数估计方法，主要有最大似然估计和贝叶斯估计，他们主要对有确定形式的PDF进行参数估计，而在实际情况下，并不能知道PDF的确切形式，只能通过利用所有样本对整个PDF进行估计,而且这种估计只能是利用数值方法求解。原创 2016-04-20 16:43:00 · 14283 阅读 · 1 评论