- 博客(419)
- 资源 (13)
- 收藏
- 关注
RSS订阅转载 最速下降法/steepest descent，牛顿法/newton，共轭方向法/conjugate direction，共轭梯度法/conjugate gradient 及其他
转载须注明出处：http://www.codelast.com/ 在最优化的领域中，这“法”那“法”无穷多，而且还“长得像”——名字相似的多，有时让人觉得很迷惑。在自变量为一维的情况下，也就是自变量可以视为一个标量，此时，一个实数就可以代表它了，这个时候，如果要改变自变量的值，则其要么减小，要么增加，也就是“非左即右“，所以，说到“自变量在某个方向上移动”这个概念的时候，它
2014-04-20 21:06:08
1603
转载 再谈 最速下降法/梯度法/Steepest Descent
转载请注明出处：http://www.codelast.com/最速下降法（又称梯度法，或Steepest Descent），是无约束最优化领域中最简单的算法，单独就这种算法来看，属于早就“过时”了的一种算法。但是，它的理念是其他某些算法的组成部分，或者说是在其他某些算法中，也有最速下降法的“影子”。因此，我们还是有必要学习一下的。我很久以前已经写过一篇关于最速下降法的文章了，但是这里
2014-04-20 21:05:07
1289
转载 line search中的重要定理 - 梯度与方向的点积为零
转载请注明出处：http://www.codelast.com/对精确的line search（线搜索），有一个重要的定理：∇f(xk+αkdk)Tdk=0这个定理表明，当前点在dk方向上移动到的那一点（xk+αkdk）处的梯度，与当前点的搜索方向dk的点积为零。其中，αk是称之为“步长”的一个实数，它是通过line search算法求出来的。
2014-04-20 21:04:21
1038
转载 迁移学习&自我学习
最近在看Ng的深度学习教程，看到self-taught learning的时候，对一些概念感到很陌生。作为还清技术债的一个环节，用半个下午的时间简单搜了下几个名词，以后如果会用到的话再深入去看。 监督学习在前一篇博客中讨论过了，这里主要介绍下迁移学习、自我学习。因为监督学习需要大量训练样本为前提，同时对训练样本的要求特别严格，要求训练样本与测试样本来自于同一分布。要是满足不了
2014-04-19 19:52:14
352
转载 Sparsity and Some Basics of L1 Regularization
Sparsity 是当今机器学习领域中的一个重要话题。John Lafferty 和 Larry Wasserman 在 2006 年的一篇评论中提到：Some current challenges … are high dimensional data, sparsity, semi-supervised learning, the relation between computat
2014-04-19 00:02:25
436
转载 漫谈 Clustering (5): Hierarchical Clustering
本文是“漫谈 Clustering 系列”中的第 8 篇，参见本系列的其他文章。系列不小心又拖了好久，其实正儿八经的 blog 也好久没有写了，因为比较忙嘛，不过觉得 Hierarchical Clustering 这个话题我能说的东西应该不多，所以还是先写了吧（我准备这次一个公式都不贴 ）。Hierarchical Clustering 正如它字面上的意思那样，是层次化
2014-04-18 19:00:40
360
转载 漫谈 Clustering (番外篇): Dimensionality Reduction
http://blog.pluskid.org/?p=290本文是“漫谈 Clustering 系列”中的第 7 篇，参见本系列的其他文章。由于总是有各种各样的杂事，这个系列的文章竟然一下子拖了好几个月，（实际上其他的日志我也写得比较少），现在决定还是先把这篇降维的日志写完。我甚至都以及忘记了在这个系列中之前有没有讲过“特征”（feature）的概念了，这里不妨再稍微提一下。机
2014-04-18 18:57:40
363
转载 漫谈 Clustering (4): Spectral Clustering
转：本文是“漫谈 Clustering 系列”中的第 6 篇，参见本系列的其他文章。如果说 K-means 和 GMM 这些聚类的方法是古代流行的算法的话，那么这次要讲的 Spectral Clustering 就可以算是现代流行的算法了，中文通常称为“谱聚类”。由于使用的矩阵的细微差别，谱聚类实际上可以说是一“类”算法。Spectral Clustering 和传统的
2014-04-18 18:56:19
326
转载 漫谈 Clustering (番外篇): Expectation Maximization
转：http://blog.pluskid.org/?p=81本文是“漫谈 Clustering 系列”中的第 5 篇，参见本系列的其他文章。Expectation Maximization (EM) 是一种以迭代的方式来解决一类特殊最大似然 (Maximum Likelihood) 问题的方法，这类问题通常是无法直接求得最优解，但是如果引入隐含变量，在已知隐含变量的值的情况下，就
2014-04-18 18:55:13
338
转载 漫谈 Clustering (追忆篇): Regularized GMM
我之前写过一篇介绍 Gaussian Mixture Model (GMM) 的文章，并在文章里贴了一段 GMM 实现的 Matlab 示例代码，然后就不断地有人来问我关于那段代码的问题，问得最多的就是大家经常发现在跑那段代码的时候估计出来的 Covariance Matrix 是 singular 的，所以在第 96 行求逆的时候会挂掉。这是今天要介绍的主要话题，我会讲得罗嗦一点，把关于那篇
2014-04-18 18:54:12
441
转载 漫谈 Clustering (3): Gaussian Mixture Model
本文是“漫谈 Clustering 系列”中的第 4 篇，参见本系列的其他文章。上一次我们谈到了用 k-means 进行聚类的方法，这次我们来说一下另一个很流行的算法：Gaussian Mixture Model (GMM)。事实上，GMM 和 k-means 很像，不过 GMM 是学习出一些概率密度函数来（所以 GMM 除了用在 clustering 上之外，还经常被用于
2014-04-18 18:51:55
356
转载 漫谈 Clustering (2): k-medoids
本文是“漫谈 Clustering 系列”中的第 2 篇，参见本系列的其他文章。上一次我们了解了一个最基本的 clustering 办法 k-means ，这次要说的 k-medoids 算法，其实从名字上就可以看出来，和 k-means 肯定是非常相似的。事实也确实如此，k-medoids 可以算是 k-means 的一个变种。k-medoids 和 k-means 不一样的地方
2014-04-18 17:35:03
534
转载 漫谈 Clustering (1): k-means
本文是“漫谈 Clustering 系列”中的第 1 篇，参见本系列的其他文章。好久没有写 blog 了，一来是 blog 下线一段时间，而租 DreamHost 的事情又一直没弄好；二来是没有太多时间，天天都跑去实验室。现在主要折腾 Machine Learning 相关的东西，因为很多东西都不懂，所以平时也找一些资料来看。按照我以前的更新速度的话，这么长时间不写 blog 肯定是要被闷
2014-04-18 17:21:13
279
转载 漫谈 Clustering (番外篇): Vector Quantization
zhuhttp://blog.pluskid.org/?p=57本文是“漫谈 Clustering 系列”中的第 3 篇，参见本系列的其他文章。在接下去说其他的聚类算法之前，让我们先插进来说一说一个有点跑题的东西：Vector Quantization 。这项技术广泛地用在信号处理以及数据压缩等领域。事实上，在 JPEG 和 MPEG-4 等多媒体压缩格式里都有 VQ 这一步。
2014-04-18 17:17:41
271
转载 GIST特征描述符使用
一种场景特征描述场景特征描述？通常的特征描述符都是对图片的局部特征进行描述的，以这种思路进行场景描述是不可行的。比如：对于“大街上有一些行人”这个场景，我们必须通过局部特征辨认图像是否有大街、行人等对象，再断定这是否是满足该场景。但这个计算量无疑是巨大的，且特征向量也可能大得无法在内存中存储计算。例如即使使用GIST进行1MB的图像数据搜索，也需要3.8GB的RAM
2014-04-17 17:51:35
880
1
转载 对数线性模型之一(逻辑回归), 广义线性模型学习总结
经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型：自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等等。对数线性模型里有：logistic regression、Maxinum entropy。本篇是对逻辑回归的学习总结，以及广义线性模型导出逻辑回归的过程。下一篇将是对最大熵模型的学习总结。本篇介绍的大纲如下：1
2014-04-15 22:42:17
450
转载 熵、条件熵、互信息等概念
转：关于这些概念看过很多次了，但一直都记不住，索性用笔记形式记下来备查吧。1. 熵Entropy关于熵的基本概念就不说了，可以认为是用来描述随机变量的不确定性，也可以说是用来描述随机变量平均信息量（信息量用编码长度表示，熵即为编码长度的期望形式）。公式如下：H(X)=−∑x∈Xp(x)logap(x)当a=2时，即熵的单位为比特。可以看到，当有必然事件p
2014-04-15 20:11:26
943
转载 MaxEnt: 最大熵模型(Maximum Entropy Models)(二)
转上面《MaxEnt: 最大熵模型(Maximum Entropy Models)(一)》其实就是讲了下熵，下面我们继续最大熵模型(Maximum Entropy Models)。最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大
2014-04-15 18:46:43
418
转载 MaxEnt: 最大熵模型(Maximum Entropy Models)(一)
转刚看完HMM，因为有个ME-HMM方法，所以再看看最大熵模型，最后再把CRF模型看看，这一系列理论大体消化一下，补充一下自己的大脑，方便面试什么的能够应付一些问题。多读书，多思考，肚子里才有东西。==========什么是熵？咱们这里只看信息以及自然界的熵吧。《Big Bang Theory》中Sheldon也经常把这个熵挂在嘴边。在咱们的生活中，你打碎了
2014-04-15 18:45:35
446
转载 自然图像抠图/视频抠像技术发展情况梳理（image matting, alpha matting, video matting）--计算机视觉专题1
自然图像抠图/视频抠像技术发展情况梳理Sason@CSDN持续更新.当前更新日期2013.03.05, 添加Fast Mating、Global Matting、视频扣像。当前更新日期2013.04.23, 添加2本Computer Vision书籍中相关章节。当前更新日期2013.07.21, 添加CVPR 2013中2篇论文。当前更新
2014-04-14 13:52:56
935
转载 距离变换
z距离变换和线性滤波器，形态学变换处于平等位置，是图像处理的一种方法，通过使用两遍扫描光栅算法可以快速计算到曲线或点集的距离。应用：水平集快速斜切匹配图像拼接图像混合的羽化临近点配准方法：首先对图像进行二值化处理，然后给每个像素赋值为离它最近的背景像素点与其距离（Manhattan距离or欧氏距离），得
2014-04-08 11:00:33
337
转载 C/C++ 根据年月日计算星期几——蔡勒公式篇
转载蔡勒公式 蔡勒（Zeller）公式：是一个计算星期的公式。随便给一个日期，就能用这个公式推算出是星期几。蔡勒公式如下：W = [C/4] - 2C + y + [y/4] + [13 * (M+1) / 5] + d - 1或者是:w=y+[y/4]+[c/4]-2c+[26(m+1)/10]+d-1公式中的符号含义如下：w：星期； w对7取模得：0-星期日，
2014-04-04 20:30:34
582
转载 C++ / vs 如何生成自己的静态库(lib)文件
转：http://panxq0809.iteye.com/blog/691225打开VS2005，建立一个win32控制台程序，然后打开项目--LibTest属性(如图1)，打开LibTest属性页(如图2)，在右边配置类型处选择静态库(lib)。然后我们就可以写我们的头文件和cpp源文件了。写完后编译下就可以在目录下找到相应的lib文件了。图一图二 在这里我
2014-04-03 14:36:00
389
转载 C语言字符串函数大全
转：https://www.byvoid.com/blog/c-string程序开头要声明#include 函数名: stpcpy功 能: 拷贝一个字符串到另一个用 法: char *stpcpy(char *destin, char *source);程序例:#include #include int main(void){ char string[10];
2014-03-31 15:13:03
205
转载 OpenCV学习笔记（二十六）——小试SVM算法ml
转：http://blog.csdn.net/yang_xian521/article/details/6969904总感觉自己停留在码农的初级阶段，要想更上一层，就得静下心来，好好研究一下算法的东西。OpenCV作为一个计算机视觉的开源库，肯定不会只停留在数字图像处理的初级阶段，我也得加油，深入研究它的算法库。就从ml入手吧，最近做东西遇到随机森林，被搞的头大，深深感觉自己肚子里货太少，
2014-03-31 11:02:57
354
转载 svm (opencv)几个主要函数
转：http://www.cnblogs.com/justany/archive/2012/11/23/2784125.html分类器分类器是一种计算机程序。他的设计目标是在通过学习后，可自动将数据分到已知类别。 平面线性分类器一个简单的分类问题，如图有一些圆圈和一些正方形，如何找一条最优的直线将他们分开？我们可以找到很多种方法画出这
2014-03-31 11:01:06
619
转载 Word标题：自动编号
在Word中为标题样式添加自动编号功能摘要：本文可以帮助你在Office 2007中为Word标题样式添加和设置自动编号功能。正文：近日因工作需要，需要编制一份Word文档，并需要为标题提供编号，而系统默认的标题样式并没有自动编号的功能，系统默认的标题样式效果如下图：因各种层级的标题数量比较
2014-03-28 21:40:12
275
转载 BOW（ opencv源码）
物体目标分类这章描述了局部2维图像特征相关算法和基于这些特征的二维图像中的物体目标分类。BOWTrainerclass BOWTrainer给定训练图像的特征描述子集，该抽象基类用于训练 视觉词典包 词典. 具体参考文章 Visual Categorization with Bags of Keypoints by Gabriella Csurka, Christo
2014-03-27 19:42:24
600
转载 BOW（opencv源码）
BOW其实就是bag of word的缩写，在OpenCV中关于此框架的有3个类。 第一个是一个基类，算是BOW训练的类型，[cpp] view plaincopyclass BOWTrainer { public: BOWTrainer(){} virtual ~BOWTrainer
2014-03-27 19:41:13
428
转载 什么是句柄？为什么会有句柄？HANDLE
zhuan http://www.cppblog.com/mymsdn/archive/2009/02/19/handle-in-windows.html从广义上，能够从一个数值拎起一大堆数据的东西都可以叫做句柄。句柄的英文是"Handle"，本义就是"柄"，只是在计算机科学中，被特别地翻译成"句柄"，其实还是个"柄"。从一个小东西拎起一大堆东西，这难道不像是个"柄"吗？然后，指
2014-03-26 13:06:50
291
转载 OpenCV学习笔记（六）——对XML和YAML文件实现I/O操作
转：http://blog.csdn.net/yang_xian521/article/details/68976841. XML、YAML文件的打开和关闭XML\YAML文件在OpenCV中的数据结构为FileStorage，打开操作例如：[cpp] view plaincopystring filename = "I.xm
2014-03-25 17:25:33
260
转载 准确率(accuracy),精确率(Precision),召回率(Recall)和F1-Measure
转载：http://argcv.com/articles/1036.c自然语言处理(ML),机器学习(NLP),信息检索(IR)等领域,评估(evaluation)是一个必要的工作,而其评价指标往往有如下几点:准确率(accuracy),精确率(Precision),召回率(Recall)和F1-Measure。本文将简单介绍其中几个概念。中文中这几个评价指标翻译各有不同，所以一般
2014-03-25 09:52:16
1244
转载 #pragma comment使用
转载：http://www.cnitblog.com/ictfly/archive/2011/06/27/74454.html编程经常碰到，理解的总不是很透彻，在这里查阅资料总结一下！ 在编写程序的时候,我们常用到#pragma指令来设定编译器的状态或者是指示编译器完成一些特定的动作。#pragma once ：这是一个比较常用的指令,只要在头文件的最开始加入这条指令就能够保证
2014-03-24 23:11:02
365
转载 TF-IDF模型的概率解释
信息检索概述信息检索是当前应用十分广泛的一种技术，论文检索、搜索引擎都属于信息检索的范畴。通常，人们把信息检索问题抽象为：在文档集合D上，对于由关键词w[1] … w[k]组成的查询串q，返回一个按查询q和文档d匹配度relevance(q, d)排序的相关文档列表D’。对于这一问题，先后出现了布尔模型、向量模型等各种经典的信息检索模型，它们从不同的角度提出了自己的一套解决方案。布
2014-03-23 23:40:48
285
转载 Ransac算法--直线拟合
Ransac算法项目主页https://github.com/libing64/RansacLine1、算法简介随机抽样一致算法(RANdom SAmple Consensus,RANSAC)。它是一种迭代的方法，用来在一组包含离群的被观测数据中估算出数学模型的参数。 RANSAC是一个非确定性算法，在某种意义上说，它会产生一个在一定概率下合理的结果，其允许使用更多次的迭代
2014-03-23 13:14:23
627
转载 我的数学之美（一）——RANSAC算法详解
给定两个点p1与p2的坐标，确定这两点所构成的直线，要求对于输入的任意点p3，都可以判断它是否在该直线上。初中解析几何知识告诉我们，判断一个点在直线上，只需其与直线上任意两点点斜率都相同即可。实际操作当中，往往会先根据已知的两点算出直线的表达式（点斜式、截距式等等），然后通过向量计算即可方便地判断p3是否在该直线上。 生产实践中的数据往往会有一定的偏差。例如我们知道两个变量X与Y之间呈线性
2014-03-23 13:04:16
343
转载 Log-Polar——关于对数极坐标
对数极坐标几何（Log-Polar Geometry）是为了仿真生物视网膜，比如人眼中央小凹，的成像原理而产生的，它具有数据压缩的特性。对 数极坐标系是一个二维坐标系，一个点的坐标由一个实数对 (ρ，θ) 决定，ρ 是该点到某一特定点（原点origin）的距离的对数，θ是过该点与原点的直线和某个参考直线（如x轴）所张的角度。一个类似于人眼的传感器阵列如左图所示，它由64层同心圆
2014-03-22 22:04:16
1076
1
转载 计算机视觉（CV）前沿国际国内期刊与会议
计算机视觉（CV）前沿国际国内期刊与会议这里的期刊大部分都可以通过上面的专家们的主页间接找到1.国际会议 2.国际期刊 3.国内期刊 4.神经网络 5.CV 6.数字图象 7.教育资源，大学 8.常见问题1. 国际会议现在，国际上计算机视觉方面的三大国际会议是ICCV， CVPR和ECCV，统称之为ICE。ICCV的全称是International Comference on
2014-03-22 15:07:07
1784
转载 图像处理－线性滤波－1 基础（相关算子、卷积算子、边缘效应）
这里讨论利用输入图像中像素的小邻域来产生输出图像的方法，在信号处理中这种方法称为滤波（filtering）。其中，最常用的是线性滤波：输出像素是输入邻域像素的加权和。 1.相关算子（Correlation Operator) 定义：, 即 ，其中ｈ称为相关核(Kernel). 步骤： 1）滑动核，使其中心
2014-03-22 00:48:02
365
转载 用Hough投票做物体检测（续）
文献： Object Detection using a Max-Margin Hough Transform, CVPR 2009.用最大化margin的方法学习出参与投票的部分的权重, 用优化工具CVX求解。流程图如下： 文献： Recognition using Regions, CVPR 09.内容简介：提出了一个用区域来做物体检测、分割和分类的统一框架。具体地：
2014-03-21 18:35:06
781
人工智能——一种现代方法[原书第二版]
2013-12-31
PC 游戏编程（人机博弈）
2013-12-31
Architecture of a Database System（林子雨翻译）
2013-12-13
杭州电子科技大学ACM课件打包
2013-07-18
navicat8_mysql_cs
2013-06-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人