2011年05月_ChenLee_1

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

原创支持向量机简介

支持向量机SVM是从线性可分情况下的最优分类面提出的。所谓最优分类，就是要求分类线不但能够将两类无错误的分开，而且两类之间的分类间隔最大，前者是保证经验风险最小（为0），而通过后面的讨论我们看到，使分类间隔最大实际上就是使得推广性中的置信范围最小。推广到高维空间，最优分类线就成为最优分类面。支持向量机是利用分类间隔的思想进行训练的，它依赖于对数据的预处理，即，在更高维的空间表达原始

2011-05-29 20:36:00 25553

传统机器学习方法中普遍采用的经验风险最小化原则在样本数目有限是是不合理的，因为我们需要同时最小化经验风险和置信范围。事实上，在传统的方法中，我们选择学习模型和算法的过程，就是优化置信范围的过程，如果选择的模型比较适合现有的训练样本（h/n值适当），则可以取得比较好的效果。比如在神经网络中，需要根据问题和样本的具体情况来选择不同的网络结构（对应于不同的VC维），然后进行经验风险最小化。在模式识别问题中，选定了一种分类器形式，就确定了学习机器的VC维。实际上，这种做法就是首先通过选择模型来确定置信范围，然后固定

2011-05-29 16:54:00 11500

原创推广性的界

统计学习理论中关于经验风险与实际风险之间的重要结论，称之为推广性的界。显然，在观测数据的先验概率和类条件概率都无法准确获得的情况下，推广性的界对于学习机器的性能有着至关重要的影响。研究人员通过对大量的数据分析发现在经验风险最小化原则下的学习机器的期望风险实际上由两部分

2011-05-29 16:46:00 4668

原创 VC维

<br /> 为了研究函数集在经验风险最小化原则下的学习一致性问题和一致性收敛的速度，统计学习理论定义了一系列有关函数集学习性能的指标，它们包括：随机熵、VC熵、退火的VC熵、生长函数、VC维等。尽管随机熵、VC熵、退火的VC熵、生长函数等在统计学习理论的发展过程中起到了一定的作用，但由于这些理论距离实际应用尚有一定的距离，后来逐渐被VC维渐渐取代。<br />VC维对于一个指示函数集来说，如果其生长函数是线性的，则它的VC维为无穷大；而如果它的生长函数以参数为h的对数函数为上界，则函数集的VC维是有

2011-05-29 15:36:00 12235 1

原创 QT进行ini文件的读写

通常，为了保存各种系统配置，我们可以利用写注册表或者写ini文件的方式来进行。这里，我就来举例说明如何用qt来实现ini文件的写入和读取。假如，需要在C盘根目录下面建立一个名为config.ini的文件，并且，里面有一个section叫做“path”,该section下面，有一个key叫做libpath，其值为“c://lib”，也就是下图所示的样子，之后，我们还将其中的数值读取出来，那么，下面的代码可以作为参考：#include #include #include #include #include in

2011-05-07 15:14:00 7293

原创机器学习算法的推广性

推广性是指通过对观测数据进行学习得到的学习机器对未来测试数据进行正确判断或近似预测的能力。前面提到，一个性能优异的学习机器应该使得期望风险最小化，在实际应用中，也就是使得经验风险最小化。而经过长时间的实验与观测，研究人员逐渐发现，经验风险最小化并不总是使得学习机器有着对未知数据良好的预测和判断能力。也就是说，通过对观测数据进行经验风险最小化的学习，并不是总能够得到一个推广能力良好的学习机器。在某些情况下，一味地追求经验风险最小化，反而使得学习机器的推广能力急剧下降，这也就是我们常听到的“过学习”的问

2011-05-02 20:06:00 3763

原创经验风险最小化

前面提到，机器学习的目的就是根据一些训练样本，寻找一个最优的函数，使得函数对输入X的估计Y'与实际输出Y之间的期望风险（可以暂时理解为误差）最小化。期望风险最小化依赖于样本的输入X与其输出Y之间的函数映射关系F(x,y)，而这个映射关系，在机器视觉和模式识别系统中，一般指代先验概

2011-05-02 20:03:00 14092

原创机器学习的基本概念

顾名思义，机器学习的目的就是让机器具有类似于人类的学习、认识、理解事物的能力。试想一下，如果计算机能够对大量的癌症治疗记录进行归纳和总结，并能够给医生提出适当的建议和意见，那对病人的康复来说，是多么的重要。除了医疗领域，金融股票、设备维护、自动驾驶、航空航天等领域也对机器学习表现

2011-05-02 19:45:00 7765

原创统计学习理论简介

<br /> 统计学习理论是一种研究训练样本有限情况下的机器学习规律的学科。它可以看作是基于数据的机器学习问题的一个特例，即有限样本情况下的特例。统计学习理论从一些观测（训练）样本出发，从而试图得到一些目前不能通过原理进行分析得到的规律，并利用这些规律来分析客观对象，从而可以利用规律来对未来的数据进行较为准确的预测。例如，对全国未来几年人口数量进行预测，就需要先采集到过去几年甚至几十年的人口数据，并对其变化规律做出统计学方面的分析和归纳，从而得到一个总体的预测模型，这样就可以对未来几年的人口总体走势作

2011-05-02 19:43:00 3673

原创 QT简介

同windows系统下面的MFC，linux系统下面的GTK一样，QT也是一个用于图形用户界面开发的工具。不同的是，QT是跨平台的，目前，它支持的操作系统有：Microsoft Windows, Linux, SunOS, HP-UX, Digital UNIX (OSF/1， Tru64)， Irix， FreeBSD， BSD/OS， SCO， AIX， OS390，QNX 等等。

2011-05-02 16:30:00 3194

压缩感知的几个入门文章

这几篇是个人觉得比较通俗易懂的入门文章，（1）压缩感知研究；戴琼海、付长军；清华大学；计算机学报 2011 （2）压缩感知；许志强；中科院计算所； 2012；（3）压缩感知理论及其研究进展；石光明、刘丹华；西电；电子学报； 2009；（4）一个武汉大学的PPT，2011年的（5）压缩感知回顾与展望；焦李成、杨淑媛；西电；电子学报； 2011；

2013-10-12