Optimization
caoeryingzi
这个作者很懒,什么都没留下…
展开
-
line search and trust region----continue
line search: steepest descent method,沿着与轮廓正交的方向, newton direction计算黑森矩阵和其逆, quasi-newton search direction,计算一个新的近似黑森矩阵及其逆;非线性共轭梯度法,解决的是系数矩阵是对称正定矩阵的线性方程,不用存储矩阵。trust region: 需要的参数太多了,在我看来,要人工设定好原创 2012-08-02 15:16:58 · 1008 阅读 · 0 评论 -
linear conjugate gradient method
linear conjugate gradient method, 是Hestens and Stiefel在1950s提出的,是解决系数矩阵是正定的线性系统的迭代方法,是gaussian消元的一种alternative,更适合解决大规规模问题。linear conjugate gradient method的效果取决于系数矩阵的特征值分布情况。而通过转换或者预处理线性系统,我们能够让特征值的分布原创 2012-08-02 15:45:01 · 1903 阅读 · 0 评论 -
optimization
记得以前读硕士时学过数值分析,也学过计算流体力学。做的project也不多,一个是练习,就是把空间分割,然后迭代数值模拟,好像有有限元法什么的,都忘记了。而毕业论文直接用的是矩阵的计算和分解, fortran 的库中可是矩阵计算的各种库做的很好,那个时候总感觉用的更多的是数值分析中的计算吧,大多数是矩阵的各种分解方法。那个时候,因为只设计到稳定性分析,维度比较小,不受样本的影响,因此矩阵的原创 2012-08-04 17:12:04 · 1589 阅读 · 0 评论 -
numerical optimization
no 的第三章,介绍了line search methods,其实主要是在讨论如何选择步长。无论是用steepest direction还是newton method,梯度下降方向都有了,也就是pk有了,但是在这个方向上,我们要走多大步子呢。步长选择的不当,可能无法达到minimizer。而如果步长太小了,convergence太慢了。当然收敛速度还受到梯度方向的影响。在本章中,对ak原创 2012-08-06 16:13:40 · 1094 阅读 · 0 评论 -
logistic regression
http://justindomke.wordpress.com/logistic-regression/http://research.microsoft.com/en-us/um/people/minka/http://www.dcs.bbk.ac.uk/~zheng/http://www.cnblogs.com/vivounicorn/ar原创 2012-08-06 18:19:58 · 795 阅读 · 1 评论 -
coordinate ascent, em, varitional em
numerical optimization把能够通过矩阵计算直接得到解的问题转换为迭代的方式进行求解。这种方式尤其适合large problem,当数据维度特别大时,你只好用迭代的方式,否则矩阵的计算能够算死你。当然在计算过程中,会有各种各样的问题,迭代方向和迭代步长问题,就是最核心的参数吧。因为看到这个,我突然想到,为什么之前我一直没用到numerical optimization原创 2012-08-06 17:54:38 · 1978 阅读 · 1 评论 -
optimization
最近在系统地看optimization的书和文章,读的时候思考各个算法的实现和优化,初步体会到以前读博时所里一位老师跟我说的,说我缺乏几本书,其中一本就是关于optimization的,我一直没有系统地看过,那个时候只是觉得不了解这一类的知识会让我看算法比较慢,现在体会到了,缺少了这些知识,对算法的理解始终处于外层,也明白他们组学机器学习的几位学生为什么理解算法总是那样深邃了。继续学习原创 2012-08-10 09:10:38 · 709 阅读 · 0 评论 -
互联网的资源----机器学习
metaoptimize.com/qa这里面有时候有些资源还是很好的,不过全是英文的奥。http://metaoptimize.com/qa/questions/5205/when-to-use-l1-regularization-and-when-l2?sort=votes#sort-top这里有一个讨论何时用l1 norm何时用l2 norm的QA。原创 2012-10-27 15:28:26 · 697 阅读 · 2 评论 -
line search and trust region
numerical optimization上第二章在讲的内容,觉得读着还是很有收获的。读到相应章节时,打算找个典型的算法实现一下。读到这里,搜了trust region,因为对这位仁兄实在陌生,一位台湾同胞的主页不得不记录一下:http://www.csie.ntu.edu.tw/~cjlin/最近处于特殊时期,利用这段时间好好充充电,把欠下的专业书好好读两三本,同时把一原创 2012-07-31 14:36:47 · 1511 阅读 · 0 评论