算法
文章平均质量分 91
chiechie
这个作者很懒,什么都没留下…
展开
-
随机优化工具 Stochastic Optimization Techniques
@(Paper summaries)[Neural Networks|Optimization]Stochastic Gradient DescentMomentumNesterovs Accelerated GradientAdagradRMSPropAdadeltaAdamESGDAdasecantvSGDRpropNeu原创 2015-09-29 09:33:50 · 1430 阅读 · 0 评论 -
stepwise算法
原始的交叉矩阵的q行q列进行sweep变换: 可以看到sweep之后,原本叉乘矩阵的位置变成了它的逆矩阵,而第一行residueSS向量的第0个元素表示的是RSSqRSS_q,剩下的表示的是系数。 如果我们想将q个变量扩充成q+1q+1个变量,可以参考下图: 首先将ZZ分解为两部分:Z=Z1+Z2Z = Z_1+Z_2, Z1=(I−H)ZZ_1 = (I-H)Z,Z2=HZZ_2原创 2015-08-24 00:32:42 · 3260 阅读 · 0 评论 -
A Tutorial on the SWEEP Operator–读书笔记
算法原理对线性回归的最小二乘解,涉及到求矩阵的逆(XTX)−1(X^TX)^{-1}, 1.原始的矩阵求逆的方法–Gauss Jordan消去法,使用计算机来求解时,需要开辟另一个内存,存放变化时的右矩阵A−1A^{-1}. 2.sweep算法对高斯约旦消去法的一种改进,它可以节省存储空间,不需要开辟内存单独存放右矩阵。下面使用三阶例子来说明:(1)对于矩阵A,其扩展矩阵[A|I][A|I]原创 2015-07-08 14:53:35 · 1471 阅读 · 0 评论 -
Introduction to Boosted Trees
none原创 2015-10-22 15:45:44 · 857 阅读 · 0 评论