机器学习
文章平均质量分 81
angel_yj
本人博客纯属个人学习笔记,如有错误之处,还请见谅。
展开
-
深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件
在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候,只知道直接应用两个方法,但是却转载 2014-09-24 14:09:22 · 908 阅读 · 0 评论 -
支持向量机SVM中的对偶问题
6 拉格朗日对偶(Lagrange duality) 先抛开上面的二次规划问题,先来看看存在等式约束的极值问题求法,比如下面的最优化问题: 目标函数是f(w),下面是等式约束。通常解法是引入拉格朗日算子,这里使用来表示算子,得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导,使得偏转载 2014-09-24 15:48:42 · 6747 阅读 · 0 评论 -
关于ADMM的研究(一)
最近在研究正则化框架如何应用在大数据平台上。找到了《Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers》这篇文章,感觉很适合现在的研究。下面转载的一篇博客,写的很细致,很有用。业界一直在谈论大数据,对于统计而言,大数据其实意味着要不是样转载 2014-10-29 15:56:45 · 45675 阅读 · 10 评论 -
关于ADMM的研究(二)
4. Consensus and Sharing本节讲述的两个优化问题,是非常常见的优化问题,也非常重要,我认为是ADMM算法通往并行和分布式计算的一个途径:consensus和sharing,即一致性优化问题与共享优化问题。Consensus4.1 全局变量一致性优化(Global variable consensus optimization)(切割数据,参数(变量)维转载 2014-10-29 15:56:22 · 11345 阅读 · 2 评论 -
Deep Learning - 初识
学习学习。深度学习(Deep Learning),又叫Unsupervised Feature Learning或者Feature Learning,是目前非常热的一个研究主题。本文将主要介绍Deep Learning的基本思想和常用的方法。一. 什么是Deep Learning?实际生活中,人们为了解决一个问题,如对象的分类(对象可是是文档、图像等),转载 2015-04-15 14:11:06 · 601 阅读 · 0 评论 -
Spark初识
准备开始学习Spark,这个总结的还不错,拿来学习一下。什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HD转载 2015-05-14 19:25:01 · 617 阅读 · 0 评论