2013年05月_ytlcainiao

08月 07月 05月

转载 SIFT特征提取分析

SIFT（Scale-invariant feature transform）是一种检测局部特征的算法，该算法通过求一幅图中的特征点（interest points,or corner points）及其有关scale 和 orientation 的描述子得到特征并进行图像特征点匹配，获得了良好效果，详细解析如下：算法描述SIFT特征不只具有尺度不变性，即使改变旋转角度，图

2013-05-27 20:02:11 742

转载特征点检测(surf算法)

surf的中文意思为快速鲁棒特征。本文不是专门介绍surf所有理论（最好的理论是作者的论文）的，只是对surf算法进行了下整理，方便以后查阅。　　网上有些文章对surf做了介绍，比如：　　http://wuzizhang.blog.163.com/blog/static/78001208201138102648854/　　surf算法原理,有一些简单介绍.　　http://blog

2013-05-26 16:38:48 1472

转载 Harris Corner Detector 原理及编程实现

原理：灰度变化率有函数如下：其中的W(x,y)函数如下对公式中中括号中的部分Taylor展开并取一阶式，得到设则矩阵形式Harris采用了一种新的角点判定方法。矩阵M的两个特征向量l1和l2与矩阵M的主曲率成正比。Harris利用l1, l2来表征变化最快和最慢的两个方向.若两个都很大就是角点,一个大一个小就是边缘,两个都小就是在变化缓慢的图像区域.

2013-05-26 16:30:36 933

转载图像处理和计算机视觉中的经典论文

感谢水木上同领域的同学分享，有了他的整理，让我很方便的获得了CV方面相关的经典论文，我也顺便整理一下，把pdf中的文字贴到网页上，方便其它人更直观的获取所要内容~~~ 资料的下载链接为： http://iask.sina.com.cn/u/2252291285/ish?folderid=775855 以下为该同学的整理的综述：“前言：最近由于工作的关系，

2013-05-26 15:43:45 1049

这篇博客主要用来简单介绍下RBM网络，因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成，所以对RBM的理解有利于我们对DBN算法以及deep learning算法的进一步理解。Deep learning是从06年开始火得，得益于大牛Hinton的文章，不过这位大牛的文章比较晦涩难懂，公式太多，对于我这种菜鸟级别来说读懂它的paper压力太大。纵观大部分介绍RBM的

2013-05-26 12:18:09 918

转载 Deep learning：(Sparse Autoencoder练习)

前言：　　现在来进入sparse autoencoder的一个实例练习，参考Ng的网页教程：Exercise:Sparse Autoencoder。这个例子所要实现的内容大概如下：从给定的很多张自然图片中截取出大小为8*8的小patches图片共10000张，现在需要用sparse autoencoder的方法训练出一个隐含层网络所学习到的特征。该网络共有3层，输入层是64个节点，隐含层是

2013-05-26 12:16:46 1148

转载 Deep learning：(Sparse Autoencoder)

前言：　　这节课来学习下Deep learning领域比较出名的一类算法——sparse autoencoder，即稀疏模式的自动编码。我们知道，deep learning也叫做unsupervised learning，所以这里的sparse autoencoder也应是无监督的。按照前面的博文：Deep learning：一(基础知识_1)，Deep learning：七(基础知识_2

2013-05-26 12:09:51 1598

转载 Exercise 9: K-means

Exercise 9: K-meansIn this exercise, you will use K-means to compress an image by reducing the number of colors it contains.Photo credit: The bird photo used in this exercise belongs to Frank Wo

2013-05-25 14:39:34 1132

转载 Exercise 8: Non-linear SVM classification with kernels

Exercise 8: Non-linear SVM classification with kernelsIn this exercise, you will an RBF kernel to classify data that is not linearly separable. As in the last exercise, you will use the LIBSVM int

2013-05-25 14:39:01 2558

转载 Exercise 7: SVM Linear Classification

Exercise 7: SVM Linear ClassificationThis exercise gives you practice with using SVMs for linear classification. You will use a free SVM software package called LIBSVM that interfaces to MATLAB/Oc

2013-05-25 14:38:27 1925

转载 Exercise 6: Naive Bayes

Exercise 6: Naive BayesIn this exercise, you will use Naive Bayes to classify email messages into spam and nonspam groups. Your dataset is a preprocessed subset of the Ling-Spam Dataset, provided

2013-05-25 14:37:50 1197

转载 Exercise 5: Regularization

Exercise 5: RegularizationIn this exercise, you will implement regularized linear regression and regularized logistic regression.DataThis data bundle contains two sets of data, one for lin

2013-05-25 09:20:40 1313

转载 Exercise 4: Logistic Regression and Newton's Method

In this exercise, you will use Newton's Method to implement logistic regression on a classification problem.DataFor this exercise, suppose that a high school has a dataset representing 40 students

2013-05-25 08:29:34 1703

转载 Exercise 3: Multivariate Linear Regression

Exercise 3: Multivariate Linear RegressionIn this exercise, you will investigate multivariate linear regression using gradient descent and the normal equations. You will also examine the relationshi

2013-05-25 08:28:32 1350

转载 Exercise 2: Linear Regression

Exercise 2: Linear RegressionThis course consists of videos and programming exercises to teach you about machine learning. The exercises are designed to give you hands-on, practical experience for g

2013-05-25 08:27:24 1321

转载增强学习（Reinforcement Learning and Control）

[pdf版本]增强学习.pdf 在之前的讨论中，我们总是给定一个样本x，然后给或者不给label y。之后对样本进行拟合、分类、聚类或者降维等操作。然而对于很多序列决策或者控制问题，很难有这么规则的样本。比如，四足机器人的控制问题，刚开始都不知道应该让其动那条腿，在移动过程中，也不知道怎么让机器人自动找到合适的前进方向。另外如要设计一个下象棋的AI，每走一步实际上也是一个

2013-05-24 14:01:40 1132

转载因子分析（Factor Analysis）

【pdf版本】因子分析1 问题之前我们考虑的训练数据中样例的个数m都远远大于其特征个数n，这样不管是进行回归、聚类等都没有太大的问题。然而当训练样例个数m太小，甚至m<<n的时候，使用梯度下降法进行回归时，如果初值不同，得到的参数结果会有很大偏差（因为方程数小于参数个数）。另外，如果使用多元高斯分布(Multivariate Gaussian distribution)对数据

2013-05-24 14:00:47 1171

转载线性判别分析（Linear Discriminant Analysis）（二）

4. 实例将3维空间上的球体样本点投影到二维上，W1相比W2能够获得更好的分离效果。 PCA与LDA的降维对比： PCA选择样本点投影具有最大方差的方向，LDA选择分类性能最好的方向。 LDA既然叫做线性判别分析，应该具有一定的预测功能，比如新来一个样例x，如何确定其类别？拿二值分来来

2013-05-24 13:59:49 1169

转载线性判别分析（Linear Discriminant Analysis）（一）

1. 问题之前我们讨论的PCA、ICA也好，对样本数据来言，可以是没有类别标签y的。回想我们做回归时，如果特征太多，那么会产生不相关特征引入、过度拟合等问题。我们可以使用PCA来降维，但PCA没有将类别标签考虑进去，属于无监督的。比如回到上次提出的文档中含有“learn”和“study”的问题，使用PCA后，也许可以将这两个特征合并为一个，降了维度。但假设我们的类别标签

2013-05-24 13:59:09 776

转载 ICA扩展描述

7. ICA算法扩展描述上面介绍的内容基本上是讲义上的，与我看的另一篇《Independent Component Analysis:Algorithms and Applications》（Aapo Hyvärinen and Erkki Oja）有点出入。下面总结一下这篇文章里提到的一些内容（有些我也没看明白）。首先里面提到了一个与“独立”相似的概念“不相关（u

2013-05-24 13:58:25 807

转载独立成分分析（Independent Component Analysis）

1. 问题： 1、上节提到的PCA是一种数据降维的方法，但是只对符合高斯分布的样本点比较有效，那么对于其他分布的样本，有没有主元分解的方法呢？ 2、经典的鸡尾酒宴会问题（cocktail party problem）。假设在party中有n个人，他们可以同时说话，我们也在房间中一些角落里共放置了n个声音接收器（Microphone）用来记录声音。宴会过后，我们从n个麦克风中

2013-05-24 13:57:34 937

转载主成分分析（Principal components analysis）-最小平方误差解释

接上篇3.2 最小平方误差理论假设有这样的二维样本点（红色点），回顾我们前面探讨的是求一条直线，使得样本点投影到直线上的点的方差最大。本质是求直线，那么度量直线求的好不好，不仅仅只有方差最大化的方法。再回想我们最开始学习的线性回归等，目的也是求一个线性函数使得直线能够最佳拟合样本点，那么我们能不能认为最佳的直线就是回归后的直线呢？回归时我们的最小二乘法度量的是样本点

2013-05-24 13:56:49 862 1

转载主成分分析（Principal components analysis）-最大方差解释

在这一篇之前的内容是《Factor Analysis》，由于非常理论，打算学完整个课程后再写。在写这篇之前，我阅读了PCA、SVD和LDA。这几个模型相近，却都有自己的特点。本篇打算先介绍PCA，至于他们之间的关系，只能是边学边体会了。PCA以前也叫做Principal factor analysis。1. 问题真实的训练数据总是存在各种各样的问题：1、比如拿到一个汽车的样

2013-05-24 13:56:05 935 1

转载在线学习（Online Learning）

原题目叫做The perception and large margin classifiers，其实探讨的是在线学习。这里将题目换了换。以前讨论的都是批量学习（batch learning），就是给了一堆样例后，在样例上学习出假设函数h。而在线学习就是要根据新来的样例，边学习，边给出结果。假设样例按照到来的先后顺序依次定义为。X为样本特征，y为类别标签。我们的任务是到来一个样例x

2013-05-24 13:55:20 843

转载（EM算法）The EM Algorithm

EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果

2013-05-24 13:54:42 685

转载混合高斯模型（Mixtures of Gaussians）和EM算法

这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。与k-means一样，给定的训练样本是，我们将隐含类别标签用表示。与k-means的硬指定不同，我们首先认为是满足一定的概率分布的，这里我们认为满足多项式分布，，其中，有k个值{1,…,k}可以选取。而且我们认为在给定后，满足多值高斯分布，即。由此可

2013-05-24 13:53:43 589

转载 K-means聚类算法

K-means也是聚类算法中最简单的一种了，但是里面包含的思想却是不一般。最早我使用并实现这个算法是在学习韩爷爷那本数据挖掘的书中，那本书比较注重应用。看了Andrew Ng的这个讲义后才有些明白K-means后面包含的EM思想。聚类属于无监督学习，以往的回归、朴素贝叶斯、SVM等都是有类别标签y的，也就是说样例中已经给出了样例的分类。而聚类的样本中却没有给定y，只有特征x，比如假设

2013-05-24 13:53:12 742

转载规则化和模型选择（Regularization and model selection）

1 问题模型选择问题：对于一个学习问题，可以有多种模型选择。比如要拟合一组样本点，可以使用线性回归，也可以用多项式回归。那么使用哪种模型好呢（能够在偏差和方差之间达到平衡最优）？还有一类参数选择问题：如果我们想使用带权值的回归模型，那么怎么选择权重w公式里的参数？形式化定义：假设可选的模型集合是，比如我们想分类，那么SVM、logistic回归、神经网络等模型都包含

2013-05-24 13:52:32 1008

转载支持向量机（五）SMO算法

11 SMO优化算法（Sequential minimal optimization）SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for

2013-05-24 13:51:38 534

转载支持向量机（四）

9 规则化和不可分情况处理（Regularization and the non-separable case）我们之前讨论的情况都是建立在样例线性可分的假设上，当样例线性不可分时，我们可以尝试使用核函数来将特征映射到高维，这样很可能就可分了。然而，映射后我们也不能100%保证可分。那怎么办呢，我们需要将模型进行调整，以保证在不可分的情况下，也能够尽可能地找出分隔超平面。看下面两张

2013-05-24 13:50:30 444

转载支持向量机（三）核函数

7 核函数（Kernels）考虑我们最初在“线性回归”中提出的问题，特征是房子的面积x，这里的x是实数，结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线，那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维，然后寻找特征和结果之间的模型。我们将这种特征变换称作特征映射（feature mapping）。映射函数称作，在这个例子中

2013-05-24 13:49:45 607

转载支持向量机SVM（二）

【转载请注明出处】http://www.cnblogs.com/jerrylead6 拉格朗日对偶（Lagrange duality）先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题：目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为

2013-05-24 13:48:57 521

转载支持向量机SVM（一）

【转载请注明出处】http://www.cnblogs.com/jerrylead1 简介支持向量机基本上是最好的有监督学习算法了。最开始接触SVM是去年暑假的时候，老师要求交《统计学习理论》的报告，那时去网上下了一份入门教程，里面讲的很通俗，当时只是大致了解了一些相关概念。这次斯坦福提供的学习材料，让我重新学习了一些SVM知识。我看很多正统的讲法都是从VC 维理论和结构风险最小原理出发，

2013-05-24 13:48:09 484

转载判别模型、生成模型与朴素贝叶斯方法

转载时请注明来源：http://www.cnblogs.com/jerrylead1判别模型与生成模型上篇报告中提到的回归模型是判别模型，也就是根据特征值来求结果的概率。形式化表示为，在参数确定的情况下，求解条件概率。通俗的解释为在给定特征后预测结果出现的概率。比如说要确定一只羊是山羊还是绵羊，用判别模型的方法是先从历史数据中学习到模型，然后通过提取这只羊的特征来预测出这只羊是山羊

2013-05-24 13:47:01 571

转载对线性回归，logistic回归和一般回归的认识

转载自：http://www.cnblogs.com/jerrylead 1 摘要本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题，回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学模型，然后将该数学模型用于预测或者分类。该方法处理的数据可以是多维的。讲义最初介绍了一个基本问题，然后

2013-05-24 13:45:32 679

转载计算机视觉领域的一些牛人博客，超有实力的研究机构等的网站链接---个人整理

以下链接是本人整理的关于计算机视觉（ComputerVision, CV）相关领域的网站链接，其中有CV牛人的主页，CV研究小组的主页，CV领域的paper,代码，CV领域的最新动态，国内的应用情况等等。打算从事这个行业或者刚入门的朋友可以多关注这些网站，多了解一些CV的具体应用。搞研究的朋友也可以从中了解到很多牛人的研究动态、招生情况等。总之，我认为，知识只有分享才能产生更大的价值，真诚希望下面

2013-05-23 21:21:52 1446

转载图像处理与计算机视觉基础，经典以及最近发展

************************************************************************************************************************************************************************************ 在这里，我特别

2013-05-23 21:04:06 2658

转载 Matlab 线性拟合 & 非线性拟合

使用Matlab进行拟合是图像处理中线条变换的一个重点内容，本文将详解Matlab中的直线拟合和曲线拟合用法。关键函数：fittypeFit type for curve and surface fittingSyntaxffun = fittype(libname)ffun = fittype(expr)ffun = fittype({expr1,..

2013-05-22 10:09:50 933

转载 Stanford机器学习---第八讲. 支持向量机SVM

第八讲. 支持向量机进行机器学习——Support Vector Machine===============================（一）、SVM 的 Cost Function（二）、SVM —— Large Margin Classifier（三）、数学角度解析为什么SVM 能形成 Large Margin Classifier（选看）

2013-05-20 14:50:22 877

转载 Stanford机器学习---第六讲. 怎样选择机器学习方法、系统

第六讲. 怎样选择机器学习方法——Advice for applying machine learning===============================候选机器学习方法评价方法假设☆模型选择和训练、验证实验数据☆区别诊断偏离bias和偏差variance☆规则化和 bias/varianceLearning Cu

2013-05-19 22:15:19 701

java数字钟需要安装elcipse

java数字钟需要安装elcipse 练习用。

2015-04-15

精通Visual+C++数字图像模式识别技术及工程实践（张宏林）

精通Visual+C++数字图像模式识别技术及工程实践（张宏林），清晰版。里面包含许多的源代码。

2013-05-18

计算机图形学常用的算法（包括源代码以及生成的.exe）

常见的图形学代码，数值微分DDA、中点画线、Bresenham画线、中点画圆、中点画椭圆、递归种子、简单种子等等，由于里面还含有一点opencv知识，所以完全运行的安装opencv，里面含有源代码，以及生成的exe。几乎涵盖所有的图形学算法。

2013-05-18

C++BOOST.chm 开发指南

C++BOOST.chm 开发指南，一个非常好用的指南，帮助开发人员快速掌握

2013-05-01

masm5 微软

好用的汇编语言编译软件，不容错过，软件很小，麻雀虽小，五脏倶全 masm5不用安装的只要你解压到一个目录下面比如是c:\masm 这里最重要的两个文件是masm.exe link.exe其它都可以不要。你把一个程序写好以后比如是lx.asm如下就可以编译好了。 c:\masm>masm lx c:\masm>link lx 就编好了一个lx.exe文件可以执行了。 debug 就可以比如你的文件是lx.exe c:\>debug lx.exe就可以里面有好多命令，凡是讲dos汇编的书上都有。

2013-04-14