互联网的资源----机器学习

metaoptimize.com/qa 这里面有时候有些资源还是很好的,不过全是英文的奥。 http://metaoptimize.com/qa/questions/5205/when-to-use-l1-regularization-and-when-l2?sort=vote...

2012-10-27 15:28:26

阅读数:585

评论数:2

optimization

最近在系统地看optimization的书和文章,读的时候思考各个算法的实现和优化,初步体会到以前读博时所里一位老师跟我说的,说我缺乏几本书,其中一本就是关于optimization的,我一直没有系统地看过,那个时候只是觉得不了解这一类的知识会让我看算法比较慢,现在体会到了,缺少了这些知识,对算法...

2012-08-10 09:10:38

阅读数:466

评论数:0

logistic regression

http://justindomke.wordpress.com/logistic-regression/ http://research.microsoft.com/en-us/um/people/minka/ http://www.dcs.bbk.ac.uk/~...

2012-08-06 18:19:58

阅读数:697

评论数:1

coordinate ascent, em, varitional em

numerical optimization把能够通过矩阵计算直接得到解的问题转换为迭代的方式进行求解。这种方式尤其适合large problem,当数据维度特别大时,你只好用迭代的方式,否则矩阵的计算能够算死你。当然在计算过程中,会有各种各样的问题,迭代方向和迭代步长问题,就是最核心的参数吧。 ...

2012-08-06 17:54:38

阅读数:1711

评论数:1

numerical optimization

no 的第三章,介绍了line search methods,其实主要是在讨论如何选择步长。无论是用steepest direction还是newton method,梯度下降方向都有了,也就是pk有了,但是在这个方向上,我们要走多大步子呢。步长选择的不当,可能无法达到minimizer。而如果步...

2012-08-06 16:13:40

阅读数:844

评论数:0

optimization

记得以前读硕士时学过数值分析,也学过计算流体力学。 做的project也不多,一个是练习,就是把空间分割,然后迭代数值模拟,好像有有限元法什么的,都忘记了。而毕业论文直接用的是矩阵的计算和分解, fortran 的库中可是矩阵计算的各种库做的很好,那个时候总感觉用的更多的是数值分析中的计算吧...

2012-08-04 17:12:04

阅读数:436

评论数:0

linear conjugate gradient method

linear conjugate gradient method, 是Hestens and Stiefel在1950s提出的,是解决系数矩阵是正定的线性系统的迭代方法,是gaussian消元的一种alternative,更适合解决大规规模问题。linear conjugate gradient ...

2012-08-02 15:45:01

阅读数:1555

评论数:0

line search and trust region----continue

line search:  steepest descent method,沿着与轮廓正交的方向, newton direction计算黑森矩阵和其逆, quasi-newton search direction,计算一个新的近似黑森矩阵及其逆;非线性共轭梯度法,解决的是系数矩阵是对称正定矩阵的线...

2012-08-02 15:16:58

阅读数:759

评论数:0

line search and trust region

numerical optimization上第二章在讲的内容,觉得读着还是很有收获的。读到相应章节时,打算找个典型的算法实现一下。 读到这里,搜了trust region,因为对这位仁兄实在陌生,一位台湾同胞的主页不得不记录一下:http://www.csie.ntu.edu.tw/~...

2012-07-31 14:36:47

阅读数:1128

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭