jimeshui的专栏

什么是"过拟合"  过拟合：为了得到一致假设而使假设变得过度复杂称为过拟合。想像某种学习算法产生了一个过拟合的分类器，这个分类器能够百分之百的正确分类样本数据（即再拿样本中的文档来给它，它绝对不会分错），但也就为了能够对样本完全正确的分类，使得它的构造如此精细复杂，规则如此严格，以至于任何与样本数据稍有不同的文档它全都认为不属于这个类别！一。所谓过拟合问题A model (e.g.

EM算法学习(Expectation Maximization Algorithm)一、前言      这是本人写的第一篇博客，是学习李航老师的《统计学习方法》书以及斯坦福机器学习课Andrew Ng的EM算法课后，对EM算法学习的介绍性笔记，如有写得不恰当或错误的地方，请指出，并多多包涵，谢谢。另外本人数学功底不是很好，有些数学公式我会说明的仔细点的，如果数学基础好，可直接略

转子：http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等

CvSVMParams::CvSVMParams() : svm_type(CvSVM::C_SVC), kernel_type(CvSVM::RBF), degree(0), gamma(1), coef0(0), C(1), nu(0), p(0), class_weights(0)SVM种类：CvSVM::C_SVC C_SVC该类型可以用于n-类分类问题 (n>=2)，其重要特征是它可以

LibSVM分类的实用指南 此博文包含图片 (2011-02-01 14:45:53)转载▼ 标签： libsvm svm 交叉验证 机器学习 分类 分类： 数据挖掘 译者注：简单翻译了台湾林智仁教授的文章《A Practical Guide to Support Vector Classification》，未经作者同意，没有版权；同时翻译仅供自己学习之用，不严谨，有错误，还请大家

原文转载自：http://www.sigvc.org/bbs/thread-2187-1-3.html4.2、初级（浅层）特征表示        既然像素级的特征表示方法没有作用，那怎样的表示才有用呢？        1995 年前后，Bruno Olshausen和 David Field 两位学者任职

来自：http://www.cnblogs.com/549294286/archive/2012/12/13/2817204.html一、梯度gradienthttp://zh.wikipedia.org/wiki/%E6%A2%AF%E5%BA%A6在标量场f中的一点处存在一个矢量G，该矢量方向为f在该点处变化率最大的方向，其模也等于这个最大变化率的数值，则矢量G称为

前言： 按照Caffe官网安装教程安装Caffe时，要装Cuda，按照Cuda官网安装教程， 命令行输入： $ lspci | grep -i nvidia 发现没有nvidia显卡，所以只能暂时放弃Gpu，改用CPU了。正文： 1、安装依赖库（一）：$ sudo apt-get install libprotobuf-dev libleveldb-dev li

目前，pca算法已经广泛应用于各方面，就拿图像处理，经常做的一件事就是当提取的图像特征维度比较高时，为了简化计算量以及储存空间，需要对这些高维数据进行一定程度上的降维，并尽量保证数据的不失真。先举个例子，方便理解：    1）对于一个训练集，20个sample(i=1,2,3,...,20)，特征Xi是100维[Xi1,Xi2,Xi3,...Xij,...,Xi100](j=1,2

随机向量的“零均值化”和“空间解相关”是最常用的两个预处理过程，其中“零均值化”比较简单，而“空间解相关”涉及一些矩阵的知识。    设有均值为零的随机信号向量  ，其自相关矩阵为很明显，  是对称矩阵，且是非负定的（所有特征值都大于或等于0）。    现在，寻找一个线性变换  对  进行变换，即  ，使得上式的含义是：y的各

ROC曲线指受试者工作特征曲线 / 接收器操作特性曲线(receiver operating characteristic curve), 是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系，它通过将连续变量设定出多个不同的临界值，从而计算出一系列敏感性和特异性，再以敏感性为纵坐标、（1-特异性）为横坐标绘制成曲线，曲线下面积越大，诊断准确性越高。在ROC曲线上，最靠近

一、协方差矩阵    在做人脸识别的时候经常与协方差矩阵打交道，但一直也只是知道其形式，而对其意义却比较模糊，现在我根据单变量的协方差给出协方差矩阵的详细推导以及在不同应用背景下的不同形式。变量说明：设为一组随机变量，这些随机变量构成随机向量，每个随机变量有m个样本，则有样本矩阵                                        

1决策树（Decision Trees）的优缺点决策树的优点：一、           决策树易于理解和解释.人们在通过解释后都有能力去理解决策树所表达的意义。二、           对于决策树，数据的准备往往是简单或者是不必要的.其他的技术往往要求先把数据一般化，比如去掉多余的或者空白的属性。三、           能够同时处理数据型和常规型属性。其他的技术往

本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com 前言：    又有很长的一段时间没有更新博客了，距离上次更新已经有两个月的时间了。其中一个很大的原因是，不知道写什么好-_-，最近一段时间看了看关于SVM(Suppor

高斯混合模型是EM算法的经典应用，结合高斯混合模型进行EM算法的学习是一个较好的方法。EM知识要点：1、EM算法是最大似然估计的特殊情况，首先EM算法模型是根据最大似然估计来建立的。因为在某种情况下，有中间隐含变量，不能直接让偏导为零而求得参数解，于是就产生了EM算法。2、EM算法怎么在隐含变量的情况下，求所需的参数解？这涉及了一系列先验概率和后验概率的知识运用，同时还需非常重要的一步