来自
计算机视觉小菜鸟的专栏的博客。
http://blog.csdn.net/carson2005
申明，本文是笔者在阅读了几篇行人检测综述性文章之后，翻译、总结、归纳所得。方便自己了解行人检测的发展趋势，同时，也给打算从事行人检测研究的朋友们提供一些思路吧。 行人检测的历史： 早期以静态图像处理中的分割、边缘提取、运动检测等方法为主。例如： （1）以Gavrila为代表的全局模板方法：基于轮廓的分层匹配算法，构造了将近2500个轮廓模板对行人进行匹配, 从而识别出行人。为了解决模板数量众...
申明：以下的小技巧，均为OpenCV2.4.2下验证过的，但并不保证其它版本依然奏效 （1）利用数组来构建cv::Mat 示例代码如下所示： void ArrayToMat() { double m[3][3]; for (int i=0; i<3; i++) { for (int j=0; j<3; j++) { m[i][j] = i+j; cout<...
最近碰到好几个朋友通过本站发信息给我要求了解TLD算法的流程和原理，well,我所理解的TLD算法都已经写在我的博客（http://blog.csdn.net/carson2005/article/details/7647500）里面了，只是个别地方可能表述不清晰，理解不透彻。造成有些人依然不甚理解，so,如果你真的想深入进去了解TLD算法的原理，那么就请仔细阅读作者的原文吧。我这里收集了作者的9...
前面介绍ASM算法(http://blog.csdn.net/carson2005/article/details/8194317)的时候，笔者提到，ASM是基于统计形状模型的基础上进行的，而AAM则是在ASM的基础上，进一步对纹理（将人脸图像变形到平均形状而得到的形状无关图像g）进行统计建模，并将形状和纹理两个统计模型进一步融合为表观模型。 同ASM一样，给定学习集...
ASM是一种基于点分布模型（Point Distribution Model, PDM）的算法。在PDM中，外形相似的物体，例如人脸、人手、心脏、肺部等的几何形状可以通过若干关键特征点（landmarks）的坐标依次串联形成一个形状向量来表示。本文就以人脸为例来介绍该算法的基本原理和方法。首先给出一个标定好68个关键特征点的人脸面部图片，如下所示：...
首先，需要说明的是，OpenCV自带的haar training提取的特征是haar特征（具体请参考我的另一篇关于haar特征的文章：http://blog.csdn.net/carson2005/article/details/8094699 ），分类器是AdaBoost级联分类器（如需了解Adaboost算法，请参考我的另一篇文章：http://blog.csdn.net/carson2005...
Blob翻译成中文，是“一滴”，“一抹”，“一团”，“弄脏”，“弄错”的意思。在计算机视觉中的Blob是指图像中的具有相似颜色、纹理等特征所组成的一块连通区域。显然，Blob分析其实就是将图像进行二值化，分割得到前景和背景，然后进行连通区域检测，从而得到Blob快的过程。简单来说，blob分析就是在一块“光滑”区域内，将出现“灰度突变”的小区域寻找出来。举例来说，假如现在有一块刚生产出来的玻璃，表...
注：本文转载自http://www.cnblogs.com/hold/archive/2011/09/09/2286786.html 1、Linear Algebra (线性代数) 和 Statistics (统计学) 是最重要和不可缺少的。这代表了Machine Learning中最主流的两大类方法的基础。一种是以研究函数和变换为重点的代数方法，比如Dimension redu...
注：本文转载自：http://blog.csdn.net/lanbing510/article/details/7358878 1. 线性代数 (Linear Algebra)： 我想国内的大学生都会学过这门课程，但是，未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础，对它的透彻掌握是必不可少的。我在科大一年级的时候就学习了这门课，后来到了香港后，又重新...
boosting方法有许多不同的变形。其中最流行的一种就是AdaBoost方法，这个名称是“adaptive boostint”的缩写。这个方法允许设计者不断地加入新的“弱分类器”，直到达到某个预定的足够小的误差率。在AdaBoost方法中，每一个训练样本都被赋予一个权重，表明它被某个分类分类器选入训练集的概率。如果某个样本点已经被准确分类，那么在构造下一个训练集中，它被选中的概率就被降低；相反，...
积分图的概念最早是由Paul Viola等人提出的，并被应用到实时的对象检测框架中。对于一个灰度图像而言，其积分图也是一张图，只不过这个图跟普通的灰度图，彩色图稍有不同。这是因为，一般我们说的灰度图、彩色图，都是相机拍摄到的真实物体在某个时刻的真实画面。而积分图虽然也可以理解为一张图，但该图上任意一点(x,y)的值是指从灰度图像的左上角与当前点所围成的举行区域内所有像素点灰度值之和。即：假设存在某...
Haar-like特征，即很多人常说的Haar特征，是计算机视觉领域一种常用的特征描述算子。它最早是由Papageorigiou等人用于人脸描述。目前常用的Haar-like特征可以分为三类：线性特征、边缘特征、点特征（中心特征）、对角线特征。如下图所示： 显然，边缘特征有4种：x方向，y方向，x倾斜方向，y倾斜方向；线特征有8种，点特征有2种，对角线特征有1种。每一种特征的计算都是...
稀疏表示是最近几年信号处理领域的热点之一，简单来说，它其实是一种对原始信号的分解过程，该分解过程借助一个事先得到的字典（也有人称之为过完备基，overcomplete basis，后面会介绍到），将输入信号表示为字典的线性近似的过程。即：...
本上是平衡的。需要提醒的是，boosting方法也可以被递归地使用，即对分量分类器本身也进行boosting。用这种方式，可以获得非常小的分类误差率。甚至，在类别之间可分的情况下可以达到零误差。...
...
之前介绍过Hog特征(http://blog.csdn.net/carson2005/article/details/7782726)，也介绍过SVM分类器（http://blog.csdn.net/carson2005/article/details/6453502 ）；而本文的目的在于介绍利用Hog特征和SVM分类器来进行行人检测。 在2005年CVPR上，来自法国的研究人员...
OpenCV1.0版本有windows，linux之分，笔者曾经一直使用Opencv1.0。这个版本在下载，安装之后，在 \OpenCV\_make文件夹下面已经存在了一个opencv.dsw的工程文件，直接用VC6,或者，Visual Studio就可以打开该工程，从而可以进行相应的编译工作；而对于OpenCV2.0及以后的版本而言，就没有类似的工程文件了。这个时候，就需要你自己利用CMake工...
梯度直方图特征(HOG) 是一种对图像局部重叠区域的密集型描述符, 它通过计算局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。需要提醒的是，HOG+SVM进行行人检测的方法是法国研究人员Dalal在2005的CVPR上提出的，而如今虽然有很多行人检测算法不断提出，但基本都是以HOG+SVM的思路为主。 H...
申明：以下内容为笔者翻译自国际会议论文，鉴于本人水平有限，翻译难免有误，请大家多多包容。 原文为： An Improved Adaptive Background Mixture Model for Real-time Tracking with Shadow Detection; P.KaewTraKualPong,R.Bowden; In Proc. 2nd European Works...
之前翻译过一篇PN学习的文章：http://blog.csdn.net/carson2005/article/details/7483027，但该文章的内容还是略显生涩，不太容易理解。尤其是在TLD跟踪算法中，PN学习又是一个很重要的模块。如果不能很好理解该部分，是很难完全掌握TLD算法精髓的。所以，这里我在上次翻译的基础上，结合TLD算法中的PN学习的具体应用，再次讲述PN学习的原理。 P...
背景建模也称为背景估计，其主要目的是根据当前的背景估计，把对序列图像的运动目标检测问题转化为一个二分类问题，将所有像素划分为背景和运动前景两类，进而对分类结果进行后处理，得到最终检测结果。比较简单的获取背景图像的方法是当场景中无任何运动目标出现时捕获背景图像，但这种方法不能实现自适应，通常仅适应于对场景的短时间监控，不能满足智能监控系统对背景建模的要求。 背景减除法的关键是背景模型，它是背景减除...
光流的概念是Gibson在1950年首先提出来的。它是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。一般而言，光流是由于场景中前景目标本身的移动、相机的运动，或者两者的共同运动所产生的。其计算方法可以分为三类： （1）基于区域或者基于特征的匹配方法；...
Canny算子是John.F.Canny于20世纪80年代提出的一种多级边缘检测算法。该算子最初的提出是为了能够得到一个最优的边缘检测，即：检测到的边缘要尽可能跟实际的边缘接近，并尽可能的多，同时，要尽量降低噪声对边缘检测的干扰。 Canny算子边缘检测算法的计算步骤：...
运动目标检测可以分为摄像机固定和摄像机运动两类；对于摄像机运动情况下的运动目标检测，光流法是比较常用的解决方法，通过求解偏微分方程求得图像序列的光流场，从而预测摄像机的运动状态。对于摄像机固定的情形，可以采用光流法也可以采用高斯背景模型，考虑到光流法计算量巨大，故而，高斯背景模型相对更常用一些。需要提醒的是，这里所谓的“背景”是指用户不需要的目标，而“前景”自然指代用户需要的特定目标了。背景模型有...
CamShift算法的全称是"Continuously Adaptive Mean-SHIFT"，即：连续自适应的MeanShift算法。其基本思想是对视频序列的所有图像帧都作MeanShift运算，并将上一帧的结果（即搜索窗口的中心位置和窗口大小）作为下一帧MeanShift算法的搜索窗口的初始值，如此迭代下去。简单点说，meanShift是针对单张图片寻找最优迭代结果，而camShift则是针...
卡尔曼是匈牙利当代著名数学家，Kalman滤波器源自于他的博士毕业论文和1960年发表的论文《A New Approach to Linear Filtering and Prediction Problems》（线性滤波与预测问题的新方法）。 卡尔曼滤波器是一个最优化自回归数据处理方法，它是一个时域滤波器，是通过对时域上包含噪声的有限测量数据，计算出最接近实际值的方法。这里说它是一种递归的估计...
提示：本文为笔者原创，转载请注明出处：blog.csdn.net/carson2005 经常碰到朋友问我国内从事计算机视觉（CV）领域的公司的发展情况，产品情况，甚至找工作等问题，这里，我给出自己收集的国内从事CV相关领域的公司网址及其主要产品，有兴趣的朋友可以去看看。另外，资料整理的不是很完善，后续我会继续更新和添加，并及时在我博客进行更新（blog.csdn.net/carson2005）。...
meanShift算法用于视频目标跟踪时，采用目标的颜色直方图作为搜索特征，通过不断迭代meanShift向量使得算法收敛于目标的真实位置，从而达到跟踪的目的。 传统的meanShift算法在跟踪中有几个优势： （1）算法计算量不大，在目标区域已知的情况下完全可以做到实时跟踪； （2）采用核函数直方图模型，对边缘遮挡、目标旋转、变形和背景运动不敏感。 同时，meanShift算法也存在着以...
meanShift,均值漂移，在聚类、图像平滑、分割、跟踪等方面有着广泛的应用。meanShift这个概念最早是由Fukunage在1975年提出的，其最初的含义正如其名：偏移的均值向量；但随着理论的发展，meanShift的含义已经发生了很多变化。如今，我们说的meanShift算法，一般是指一个迭代的步骤，即先算出当前点的偏移均值，然后以此为新的起始点，继续移动，直到满足一定的结束条件。 在...
前面提到，非参数估计和参数估计（即，监督参数估计和非监督参数估计）共同构成了概率密度估计方法。非参数估计也有人将其称之为无参密度估计，它是一种对先验知识要求最少，完全依靠训练数据进行估计，而且可以用于任意形状密度估计的方法。常见的非参数估计方法有以下几种： 度曲线的光滑程度，k越大越光滑。...
在贝叶斯分类（这里有个简介：http://blog.csdn.net/carson2005/article/details/6854005 ）器设计之中，需要在类的先验概率和类条件概率密度均已知的情况下，按照一定的决策规则确定判别函数和决策面。但是，在实际应用中，类条件概率密度通常是未知的。那么，当先验概率和类条件概率密度都未知或者其中之一未知的情况下，该如何来进行类别判断呢？其实，只要我们能收集...
运动目标跟踪在军事制导，视觉导航，机器人，智能交通，公共安全等领域有着广泛的应用。例如，在车辆违章抓拍系统中，车辆的跟踪就是必不可少的。在入侵检测中，人、动物、车辆等大型运动目标的检测与跟踪也是整个系统运行的关键所在。所以，在计算机视觉领域目标跟踪是一个很重要的分支。 运动目标检测是运动目标跟踪的前提；运动目标检测，依据目标与摄像机之间的关系可以分为静态背景下的运动检测与动...
利用OpenCV进行英文字符串的书写是很容易的。只需要调用cvPutText()函数即可。该函数的申明如下所示： cvPutText(CvArr* img, const char* text, CvPoint origin, const CvFont* font, CvScalar color);函数中各个参数的含义如下所示： img---图片指针(需要说明的是，CvArr* 等价于void*...
有些时候，我们确实需要将一个图片序列压缩成视频文件，从而方便观看，或者给别人展示等。本文的目的就是提供一种解决方法。首先，需要安装opencv和xvid。前者是图像处理，计算机视觉领域的一个开源库(可以参考这里：http://blog.csdn.net/carson2005/article/details/6979806)；后者是一种广泛应用的开源视频编解码器(这里有个简单的介绍：http://b...
当今社会，视频文件随处可见，随处可拍。但是，由于摄像机太轻，操作者抖动，风吹等原因，使得摄像机会产生一定的随机抖动。这样一来，就会造成拍摄得到的视频画面发生抖动。而对于智能视频分析算法来说，视频画面的抖动，会造成分析结果产生较大的偏差。因此，有必要采取一定的技术对视频文件进行“维稳”。 稳像技术，最早应用于军事领域，尤其是在航空航天，导弹跟踪，识别等场合。最早期的稳像技术，多采用...
尽管之前写过一篇关于OpenCV的介绍（http://blog.csdn.net/carson2005/article/details/5822149），但依然有朋友对其不甚了解。所以，经常能碰到有人问我诸如以下一些问题：OpenCV能不能实现人脸识别？OpenCV有没有车辆检测的API？OpenCV有没有三维重建的函数？面对这样的问题，我也很困惑。到底该如何给他们解释，才能让它们明白，OpenC...
openCV中与贝叶斯分类器相关的API函数有以下几个： (1)CvNormalBayesClassifier::CvNormalBayesClassifier(); 该函数为默认构造函数； (2)CvNormalBayesClassifier::CvNormalBayes...
贝叶斯统计理论是英国数学家托马斯-贝叶斯于18世纪中叶提出并逐步完善的一种数学理论。贝叶斯决策是在信息不完全的情况下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生的概率进行修正，最后再利用期望值和修正概率做出最优决策。 贝叶斯决策理论方法是统计模型决策中的一个基本方法...
Opencv中有图像修复的函数，其算法参考文献为Alexandru Telea 于2004年发表于Journal of Graphic Tools上的“An Image Inpainting Technique Based On the Fast Marching Metho...
图像修复是图像复原中的一个重要内容，其目的是利用图像现有的信息来恢复丢失的信息。可用于旧照片中丢失信息的恢复，视频文字去除以及视频错误隐藏等。简言之，图像修复就是对图像上信息缺损区域进行信息填充的过程，其目的就是为了对有信息缺损的图像进行复原，并且使得观察者无法察觉到图像曾经缺损...
连通区域检测是图像处理、模式识别中常用的一个基本方法。在目标分割，边缘检测，区域检测中有着广泛的应用。这里，我介绍一种连通区域的检测方法，参考文献是《基于递归的二值图像连通区域像素标记算法》，徐正光、鲍东来、张利欣，计算机工程，2006年。（该文章可以在这里下载：http://c...
对于搞视频监控的朋友来说，视频文件的写入，几乎是必须的一个步骤。这里，我给出一个视频文件写入的例子。首先是利用opencv进行USB相机的视频捕获，然后，将视频帧写入到视频文件当中。在进行视频文件的写入之前，有两点需要提醒： （1）opencv只是一个图像处理的工具库，并不是视...
USB相机便宜，使用起来方便，而opencv也包含了读取USB相机视频数据的API函数。在windows xp中，该API函数是利用windows的VFW模块来实现的。下面，我给出 相应的参考代码： #include "stdafx.h" #include "cv....
研究人员发现，图像f(x,y)可以表示为照度和反射两部分的乘积： 式（1） 上面的式子不能直接用来对照度和反射的频率部分分别进行操作，原因是两个函数乘积的傅里叶变换是不可分的，也就是说： 式（2） 然而，假设 式（3） 那么： 式（4）...
在频率域中对图像进行滤波是很简单的，其详细步骤如下所示： （1）用乘以输入图像来进行中心变换； （2）计算图像的DFT，即 （3）用滤波器函数H(u,v)乘以F(u,v); （4）计算（3） 中结果的反DFT； （5）得到（4）中结果的实部； （6）用乘以(5)中的结...
提示：本文为笔者原创，转载请注明出处：blog.csdn.net/carson2005 以下链接是本人整理的关于计算机视觉（ComputerVision, CV）相关领域的网站链接，其中有CV牛人的主页，CV研究小组的主页，CV领域的paper,代码，CV领域的最新动态，国内的应用情况等等。打算从事这个行业或者刚入门的朋友可以多关注这些网站，多了解一些CV的具体应用。搞研究的朋友...
经常碰到有人问我关于计算机视觉（机器视觉）领域的入门书籍或者相关书籍，下面我就推荐一些自己看的，当然，不见得满足所有人的需求，不过，还是真诚的希望能对你有所帮助。(1)数字图像处理，冈萨雷斯，阮秋琦（译），电子工业出版社；(2)opencv基础篇，于仕琦，刘瑞...
在图像处理中，傅里叶变换应该是二维的，而且，是离散的，即：二维DFT。一个图像尺寸为的函数的离散傅里叶变换由以下等式给出： (1) 像在一维中的一样，此表达式对u值（u=0,1,2,...,M-1）和v值(v=0,1,2,..,N-1)计算。给出,可以通过傅里叶反变换来计算...
谈到频率域，就不得不说傅里叶变换了。傅里叶是18世纪法国的一位伟大的数学家。他最大的贡献在于指出任何周期函数都可以表示为不同频率的正弦和或者余弦和的形式，每个正弦或者余弦乘以不同的系数（也就是被大家所熟知的傅里叶级数）。无论函数有多复杂，只要它是周期性的，并且满足一定的数学条件，...
霍夫变换是图像处理中的一个检测直线、圆等简单几何形状的方法。它最初是用于在二值化的图像中进行直线检测的。对于图像中的一条直线而言，利用直角坐标系，可以表示为：的形式。那么，该直线上任意一点（x,y）变换到k-b参数空间将变成一个“点”。也就是说，将图像空间中所有的非零像素转换到k-b参数空间，那么它们将聚焦在一个点上。如此一来，参数空间中的一个局部峰值点就很有可能对应着原图像空间中的一...
在OpenCV当中，SVM是作为一个类来定义接口的，其定义略显复杂。不过，如果你对libSVM比较了解，就会发现，OpenCV的SVM接口与libSVM的接口非常接近。下面，我还利用前面介绍libSVM用法时的数据，通过一个简单的例子程序来介绍OpenCV的SVM模块函数的用法。// OpencvSVM.cpp : Defines the entry point for the conso...
前面提到，很多人看到libSVM这么多的参数，估计要犯晕了。没关系，我之前把相关的libSVM参数已经讲解了一遍，这里，再给出libSVM的用法。如果你不想花时间去仔细研究libSVM，完全可以参照我的函数来直接调用libSVM完成你的工作。 首先是训练SVM得到模型；假设，有10个训练样本，每个训练样本，有12个特征值，即：每个训练样本的维数是12，也就是说，训练...
鉴于libSVM中的readme文件有点长，而且，都是采用英文书写，这里，我把其中重要的内容提炼出来，并给出相应的例子来说明其用法，大家可以直接参考我的代码来调用libSVM库。第一部分，利用libSVM自带的简易工具来演示SVM的两类分类过程。（以下内容只是利用libSVM自带的一个简易的工具供大家更好的理解SVM，如果你对SVM已经有了一定的了解，可以直接跳过这部分内容）首...
支持向量机SVM是从线性可分情况下的最优分类面提出的。所谓最优分类，就是要求分类线不但能够将两类无错误的分开，而且两类之间的分类间隔最大，前者是保证经验风险最小（为0），而通过后面的讨论我们看到，使分类间隔最大实际上就是使得推广性中的置信范围最小。推广到高维空间，最优分类线就成为最优分类面。 支持向量机是利用分类间隔的思想进行训练的，它依赖于对数据的预处理，即，在更高维的空间表达原始...
最近几年，在国内掀起了一股图像处理、分析、识别的热潮，而其中的车牌识别和人脸识别无疑是其中的研究热潮。本人没有做过车牌识别的项目，不便叙述，不过，倒是可以跟大家聊聊最近几年国内在人脸识别领域的一些发展情况。 广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括图像采集，人脸定位，预处理，人脸特征提取，模式分类、判决识别等等。当然，还包括相应的摄像机，摄像头等光学设备，以及PC，DSP,ARM等计算平台。毋庸置疑的是，在这当中，基于图像的智能分析（包括人脸定位，预处理，特征提取，模式分类，判决识别扥）...
经常碰到朋友，尤其是计算机视觉初学者朋友问到我关于OpenCV怎么获取图片，怎么把OpenCV跟相机结合起来这一类的问题。本人不才，不过，在平时的工作中，都接触到这方面，今天特意发文章给有些朋友们解惑一下。 我们做视频分析或者说监控行业用的相机，一般来说，有两种：（1）模拟相机；（2）数字相机； 模拟相机，输出的是模拟信号，也就是电压的高低信号。这种相机，现在用在很多的监控场合，例如在银行，当你坐在柜台前的时候，你的头顶上一般会有一个相机对着你的，据笔者观察，其中的大部分，目前都...
计算机视觉（Computer Vision, CV）是一门研究如何让计算机达到人类那样“看”的学科。更准确点说，它是利用摄像机和电脑代替人眼使得计算机拥有类似于人类的那种对目标进行分割、分类、识别、跟踪、判别决策的功能。作为一个新兴学科，计算机视觉是通过对相关的理论和技术进行研究，从而试图建立从图像或多维数据中获取“信息”的人工智能系统。 它是一门综合性的科学技术，主要包括计算机科学与工程、信号处理、物理学、应用数学与统计、神经生理学和认知科学等。 目前，计算机视觉技术已经应用在制造业、...
模式识别诞生于20实际20年代，随着40年代计算机的出现，50年代人工智能的兴起，模式识别在60年代初迅速发展成为一门学科。简单点说，模式识别是根据输入的原始数据对齐进行各种分析判断，从而得到其类别属性，特征判断的过程。为了具备这种能力，人类在过去的几千万年里，通过对大量事物的认知和理解，逐步进化出了高度复杂的神经和认知系统。举例来说，我们能够轻易的判别出哪个是钥匙、哪个是锁，哪个是自行车、哪个是摩托车；而这些看似简单的过程，其背后实际上隐藏着非常复杂的处理机制。而弄清楚这些机制的作用机理正是模式识...
AVI是Audio Video Interleave（音频视频交错）的简称，它是1992年微软提出的一种多媒体文件格式，最初用于对抗Apple公司的Quicktime技术，不过，如今的AVI格式一般指代一种文件封装格式。 AVI格式的文件对视频数据采用了有损压缩，压缩比较高，因此画面质量一般不好，不过，这并不影响其使用的广泛性。需要注意的是，AVI格式文件的缺点是体积庞大，而且更为糟糕的是压缩标准不统一，最普遍的现象就是高版本Windows媒体播放器播放不了采用早期编码编辑的AVI格式视频，...
LBP(Local Binary Pattern, 局部二值模式)是一种用来描述图像局部纹理特征的算子；显然，它的作用是进行特征提取，而且，提取的特征是图像的纹理特征，并且，是局部的纹理特征； 原始的LBP算子定义为在3*3的窗口内，以窗口中心像素为阈值，将相...
模式识别，计算机视觉领域，期刊(1)pattern recognition letters, 从投稿到发表，一年半时间(2)Pattern recognition 不好中，时间长(3)IEICE Transactions on Information and Systems， 作者中有一个必须是会员。收费高，审稿快。影响因子0.4(4)International Journal of Pattern Recognition and Artificial Intelligence ， 审稿周期一般6--12周...
传统机器学习方法中普遍采用的经验风险最小化原则在样本数目有限是是不合理的，因为我们需要同时最小化经验风险和置信范围。事实上，在传统的方法中，我们选择学习模型和算法的过程，就是优化置信范围的过程，如果选择的模型比较适合现有的训练样本（h/n值适当），则可以取得比较好的效果。比如在神经网络中，需要根据问题和样本的具体情况来选择不同的网络结构（对应于不同的VC维），然后进行经验风险最小化。在模式识别问题中，选定了一种分类器形式，就确定了学习机器的VC维。实际上，这种做法就是首先通过选择模型来确定置信范围，然后固定...
统计学习理论中关于经验风险与实际风险之间的重要结论，称之为推广性的界。显然，在观测数据的先验概率和类条件概率都无法准确获得的情况下，推广性的界对于学习机器的性能有着至关重要的影响。 研究人员通过对大量的数据分析发现在经验风险最小化原则下的学习机器的期望风险实际上由两部分...
为了研究函数集在经验风险最小化原则下的学习一致性问题和一致性收敛的速度，统计学习理论定义了一系列有关函数集学习性能的指标，它们包括：随机熵、VC熵、退火的VC熵、生长函数、VC维等。尽管随机熵、VC熵、退火的VC熵、生长函数等在统计学习理论的发展过程中起到了一定的作用，但由于这些理论距离实际应用尚有一定的距离，后来逐渐被VC维渐渐取代。VC维对于一个指示函数集来说，如果其生长函数是线性的，则它的VC维为无穷大；而如果它的生长函数以参数为h的对数函数为上界，则函数集的VC维是有...
推广性是指通过对观测数据进行学习得到的学习机器对未来测试数据进行正确判断或近似预测的能力。前面提到，一个性能优异的学习机器应该使得期望风险最小化，在实际应用中，也就是使得经验风险最小化。而经过长时间的实验与观测，研究人员逐渐发现，经验风险最小化并不总是使得学习机器有着对未知数据良好的预测和判断能力。也就是说，通过对观测数据进行经验风险最小化的学习，并不是总能够得到一个推广能力良好的学习机器。在某些情况下，一味地追求经验风险最小化，反而使得学习机器的推广能力急剧下降，这也就是我们常听到的“过学习”的问...
前面提到，机器学习的目的就是根据一些训练样本，寻找一个最优的函数，使得函数对输入X的估计Y'与实际输出Y之间的期望风险（可以暂时理解为误差）最小化。期望风险最小化依赖于样本的输入X与其输出Y之间的函数映射关系F(x,y)，而这个映射关系，在机器视觉和模式识别系统中，一般指代先验概...
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
