优化算法
文章平均质量分 91
痞子兵
浙大老博,业余码农
展开
-
ADMM优化算法
从等式约束的最小化问题说起: 上面问题的拉格朗日表达式为: 也就是前面的最小化问题可以写为:转载 2014-03-13 22:00:38 · 13245 阅读 · 1 评论 -
BFGS优化算法的理解以及LBFGS源码求解最优化问题
关于最优化求解,吴军有篇blog讲的很不错,证明和解释都很清楚,具体可以参考http://www.cnblogs.com/joneswood/archive/2012/03/11/2390529.html。这里根据那篇blog的内容,主要讲解运用最广泛的LBFGS的算法思想和LBFGS源码的求解实际的最优化问题。理论部分一般优化算法中,比较简单的是梯度下降法,其主要思想原创 2014-03-13 20:09:45 · 14558 阅读 · 2 评论 -
矩阵分解
美帝的法国貌似是美法混血的有心人士(此有心人士长期从事航天飞机研究。。汗。。)收集了市面上的矩阵分解的几乎所有算法和应用,由于源地址在某神秘物质之外,特转载过来,源地址Matrix Decompositions has a long history and generally centers around a set of known factorizations such as LU,转载 2014-03-13 22:06:30 · 1146 阅读 · 0 评论 -
矩阵微分
矩阵微分(Matrix Differential)矩阵微分(Matrix Differential)也称矩阵求导(Matrix Derivative),在机器学习、图像处理、最优化等领域的公式推导过程中经常用到。本文将对各种形式下的矩阵微分进行详细的推导。1. 符号说明d(y)/d(x) 是一个列向量,其中的元素 (i) 为 d(yi)/d(x)d(y)/d转载 2014-03-18 15:42:24 · 1075 阅读 · 0 评论 -
矩阵分解
美帝的法国貌似是美法混血的有心人士(此有心人士长期从事航天飞机研究。。汗。。)收集了市面上的矩阵分解的几乎所有算法和应用,由于源地址在某神秘物质之外,特转载过来,源地址Matrix Decompositions has a long history and generally centers around a set of known factorizations such as LU,转载 2014-08-05 16:53:45 · 896 阅读 · 0 评论 -
SVD分词分类的思考
潜在语义索引(Latent Semantic Indexing)是一个严重依赖于SVD的算法,本文转载自之前吴军老师《数学之美》和参考文献《机器学习中的数学》汇总。————————————在自然语言处理中,最常见的两类的分类问题分别是,将文本按主题归类(比如将所有介绍亚运会的新闻归到体育类)和将词汇表中的字词按意思归类(比如将各种体育运动的名称个归成一类)。这两种分类问题都可用通过转载 2014-08-30 21:44:47 · 830 阅读 · 0 评论