- 博客(23)
- 资源 (13)
- 收藏
- 关注
RSS订阅转载 最速下降法/steepest descent，牛顿法/newton，共轭方向法/conjugate direction，共轭梯度法/conjugate gradient 及其他
转载须注明出处：http://www.codelast.com/ 在最优化的领域中，这“法”那“法”无穷多，而且还“长得像”——名字相似的多，有时让人觉得很迷惑。在自变量为一维的情况下，也就是自变量可以视为一个标量，此时，一个实数就可以代表它了，这个时候，如果要改变自变量的值，则其要么减小，要么增加，也就是“非左即右“，所以，说到“自变量在某个方向上移动”这个概念的时候，它
2014-04-20 21:06:08
1579
转载 再谈 最速下降法/梯度法/Steepest Descent
转载请注明出处：http://www.codelast.com/最速下降法（又称梯度法，或Steepest Descent），是无约束最优化领域中最简单的算法，单独就这种算法来看，属于早就“过时”了的一种算法。但是，它的理念是其他某些算法的组成部分，或者说是在其他某些算法中，也有最速下降法的“影子”。因此，我们还是有必要学习一下的。我很久以前已经写过一篇关于最速下降法的文章了，但是这里
2014-04-20 21:05:07
1246
转载 line search中的重要定理 - 梯度与方向的点积为零
转载请注明出处：http://www.codelast.com/对精确的line search（线搜索），有一个重要的定理：∇f(xk+αkdk)Tdk=0这个定理表明，当前点在dk方向上移动到的那一点（xk+αkdk）处的梯度，与当前点的搜索方向dk的点积为零。其中，αk是称之为“步长”的一个实数，它是通过line search算法求出来的。
2014-04-20 21:04:21
994
转载 迁移学习&自我学习
最近在看Ng的深度学习教程，看到self-taught learning的时候，对一些概念感到很陌生。作为还清技术债的一个环节，用半个下午的时间简单搜了下几个名词，以后如果会用到的话再深入去看。 监督学习在前一篇博客中讨论过了，这里主要介绍下迁移学习、自我学习。因为监督学习需要大量训练样本为前提，同时对训练样本的要求特别严格，要求训练样本与测试样本来自于同一分布。要是满足不了
2014-04-19 19:52:14
340
转载 Sparsity and Some Basics of L1 Regularization
Sparsity 是当今机器学习领域中的一个重要话题。John Lafferty 和 Larry Wasserman 在 2006 年的一篇评论中提到：Some current challenges … are high dimensional data, sparsity, semi-supervised learning, the relation between computat
2014-04-19 00:02:25
428
转载 漫谈 Clustering (5): Hierarchical Clustering
本文是“漫谈 Clustering 系列”中的第 8 篇，参见本系列的其他文章。系列不小心又拖了好久，其实正儿八经的 blog 也好久没有写了，因为比较忙嘛，不过觉得 Hierarchical Clustering 这个话题我能说的东西应该不多，所以还是先写了吧（我准备这次一个公式都不贴 ）。Hierarchical Clustering 正如它字面上的意思那样，是层次化
2014-04-18 19:00:40
348
转载 漫谈 Clustering (番外篇): Dimensionality Reduction
http://blog.pluskid.org/?p=290本文是“漫谈 Clustering 系列”中的第 7 篇，参见本系列的其他文章。由于总是有各种各样的杂事，这个系列的文章竟然一下子拖了好几个月，（实际上其他的日志我也写得比较少），现在决定还是先把这篇降维的日志写完。我甚至都以及忘记了在这个系列中之前有没有讲过“特征”（feature）的概念了，这里不妨再稍微提一下。机
2014-04-18 18:57:40
350
转载 漫谈 Clustering (4): Spectral Clustering
转：本文是“漫谈 Clustering 系列”中的第 6 篇，参见本系列的其他文章。如果说 K-means 和 GMM 这些聚类的方法是古代流行的算法的话，那么这次要讲的 Spectral Clustering 就可以算是现代流行的算法了，中文通常称为“谱聚类”。由于使用的矩阵的细微差别，谱聚类实际上可以说是一“类”算法。Spectral Clustering 和传统的
2014-04-18 18:56:19
315
转载 漫谈 Clustering (番外篇): Expectation Maximization
转：http://blog.pluskid.org/?p=81本文是“漫谈 Clustering 系列”中的第 5 篇，参见本系列的其他文章。Expectation Maximization (EM) 是一种以迭代的方式来解决一类特殊最大似然 (Maximum Likelihood) 问题的方法，这类问题通常是无法直接求得最优解，但是如果引入隐含变量，在已知隐含变量的值的情况下，就
2014-04-18 18:55:13
329
转载 漫谈 Clustering (追忆篇): Regularized GMM
我之前写过一篇介绍 Gaussian Mixture Model (GMM) 的文章，并在文章里贴了一段 GMM 实现的 Matlab 示例代码，然后就不断地有人来问我关于那段代码的问题，问得最多的就是大家经常发现在跑那段代码的时候估计出来的 Covariance Matrix 是 singular 的，所以在第 96 行求逆的时候会挂掉。这是今天要介绍的主要话题，我会讲得罗嗦一点，把关于那篇
2014-04-18 18:54:12
425
转载 漫谈 Clustering (3): Gaussian Mixture Model
本文是“漫谈 Clustering 系列”中的第 4 篇，参见本系列的其他文章。上一次我们谈到了用 k-means 进行聚类的方法，这次我们来说一下另一个很流行的算法：Gaussian Mixture Model (GMM)。事实上，GMM 和 k-means 很像，不过 GMM 是学习出一些概率密度函数来（所以 GMM 除了用在 clustering 上之外，还经常被用于
2014-04-18 18:51:55
343
转载 漫谈 Clustering (2): k-medoids
本文是“漫谈 Clustering 系列”中的第 2 篇，参见本系列的其他文章。上一次我们了解了一个最基本的 clustering 办法 k-means ，这次要说的 k-medoids 算法，其实从名字上就可以看出来，和 k-means 肯定是非常相似的。事实也确实如此，k-medoids 可以算是 k-means 的一个变种。k-medoids 和 k-means 不一样的地方
2014-04-18 17:35:03
516
转载 漫谈 Clustering (1): k-means
本文是“漫谈 Clustering 系列”中的第 1 篇，参见本系列的其他文章。好久没有写 blog 了，一来是 blog 下线一段时间，而租 DreamHost 的事情又一直没弄好；二来是没有太多时间，天天都跑去实验室。现在主要折腾 Machine Learning 相关的东西，因为很多东西都不懂，所以平时也找一些资料来看。按照我以前的更新速度的话，这么长时间不写 blog 肯定是要被闷
2014-04-18 17:21:13
265
转载 漫谈 Clustering (番外篇): Vector Quantization
zhuhttp://blog.pluskid.org/?p=57本文是“漫谈 Clustering 系列”中的第 3 篇，参见本系列的其他文章。在接下去说其他的聚类算法之前，让我们先插进来说一说一个有点跑题的东西：Vector Quantization 。这项技术广泛地用在信号处理以及数据压缩等领域。事实上，在 JPEG 和 MPEG-4 等多媒体压缩格式里都有 VQ 这一步。
2014-04-18 17:17:41
255
转载 GIST特征描述符使用
一种场景特征描述场景特征描述？通常的特征描述符都是对图片的局部特征进行描述的，以这种思路进行场景描述是不可行的。比如：对于“大街上有一些行人”这个场景，我们必须通过局部特征辨认图像是否有大街、行人等对象，再断定这是否是满足该场景。但这个计算量无疑是巨大的，且特征向量也可能大得无法在内存中存储计算。例如即使使用GIST进行1MB的图像数据搜索，也需要3.8GB的RAM
2014-04-17 17:51:35
863
1
转载 对数线性模型之一(逻辑回归), 广义线性模型学习总结
经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型：自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等等。对数线性模型里有：logistic regression、Maxinum entropy。本篇是对逻辑回归的学习总结，以及广义线性模型导出逻辑回归的过程。下一篇将是对最大熵模型的学习总结。本篇介绍的大纲如下：1
2014-04-15 22:42:17
434
转载 熵、条件熵、互信息等概念
转：关于这些概念看过很多次了，但一直都记不住，索性用笔记形式记下来备查吧。1. 熵Entropy关于熵的基本概念就不说了，可以认为是用来描述随机变量的不确定性，也可以说是用来描述随机变量平均信息量（信息量用编码长度表示，熵即为编码长度的期望形式）。公式如下：H(X)=−∑x∈Xp(x)logap(x)当a=2时，即熵的单位为比特。可以看到，当有必然事件p
2014-04-15 20:11:26
918
转载 MaxEnt: 最大熵模型(Maximum Entropy Models)(二)
转上面《MaxEnt: 最大熵模型(Maximum Entropy Models)(一)》其实就是讲了下熵，下面我们继续最大熵模型(Maximum Entropy Models)。最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大
2014-04-15 18:46:43
400
转载 MaxEnt: 最大熵模型(Maximum Entropy Models)(一)
转刚看完HMM，因为有个ME-HMM方法，所以再看看最大熵模型，最后再把CRF模型看看，这一系列理论大体消化一下，补充一下自己的大脑，方便面试什么的能够应付一些问题。多读书，多思考，肚子里才有东西。==========什么是熵？咱们这里只看信息以及自然界的熵吧。《Big Bang Theory》中Sheldon也经常把这个熵挂在嘴边。在咱们的生活中，你打碎了
2014-04-15 18:45:35
433
转载 自然图像抠图/视频抠像技术发展情况梳理（image matting, alpha matting, video matting）--计算机视觉专题1
自然图像抠图/视频抠像技术发展情况梳理Sason@CSDN持续更新.当前更新日期2013.03.05, 添加Fast Mating、Global Matting、视频扣像。当前更新日期2013.04.23, 添加2本Computer Vision书籍中相关章节。当前更新日期2013.07.21, 添加CVPR 2013中2篇论文。当前更新
2014-04-14 13:52:56
910
转载 距离变换
z距离变换和线性滤波器，形态学变换处于平等位置，是图像处理的一种方法，通过使用两遍扫描光栅算法可以快速计算到曲线或点集的距离。应用：水平集快速斜切匹配图像拼接图像混合的羽化临近点配准方法：首先对图像进行二值化处理，然后给每个像素赋值为离它最近的背景像素点与其距离（Manhattan距离or欧氏距离），得
2014-04-08 11:00:33
329
转载 C/C++ 根据年月日计算星期几——蔡勒公式篇
转载蔡勒公式 蔡勒（Zeller）公式：是一个计算星期的公式。随便给一个日期，就能用这个公式推算出是星期几。蔡勒公式如下：W = [C/4] - 2C + y + [y/4] + [13 * (M+1) / 5] + d - 1或者是:w=y+[y/4]+[c/4]-2c+[26(m+1)/10]+d-1公式中的符号含义如下：w：星期； w对7取模得：0-星期日，
2014-04-04 20:30:34
564
转载 C++ / vs 如何生成自己的静态库(lib)文件
转：http://panxq0809.iteye.com/blog/691225打开VS2005，建立一个win32控制台程序，然后打开项目--LibTest属性(如图1)，打开LibTest属性页(如图2)，在右边配置类型处选择静态库(lib)。然后我们就可以写我们的头文件和cpp源文件了。写完后编译下就可以在目录下找到相应的lib文件了。图一图二 在这里我
2014-04-03 14:36:00
379
人工智能——一种现代方法[原书第二版]
2013-12-31
PC 游戏编程（人机博弈）
2013-12-31
Architecture of a Database System（林子雨翻译）
2013-12-13
杭州电子科技大学ACM课件打包
2013-07-18
navicat8_mysql_cs
2013-06-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人