- 博客(5)
- 资源 (2)
- 收藏
- 关注
原创 共轭梯度法
1. 简介共轭梯度法是一种迭代方法。1.1 等价(a)线性方程Ax=b(b)优化问题(1.1),并有(1.2)从而(a)与(b)具有相同的解。如果令(1.3),则当x=x_k时,有(1.4)。2. 共轭梯度方法2.1 什么是共轭?给定一个对称正定矩阵A,存在一组非零向量,若满足下式(2.1),则称这些向量关于矩阵A共轭。(2.1)
2014-12-25 10:25:56 5133
原创 牛顿法
1. 定义用迭代点的梯度和二阶导数对目标函数进行二次逼近,把二次函数的极小点作为新的迭代点,不断重复此过程,直到找到最优点。2. 原理目标函数f(x)在x_k的泰勒展开式前三项为:(2.1)其中g_k是目标函数的一阶梯度,H_k是海森矩阵。x为极小值点的一阶必要条件是:(2.2)令下降方向p 为,则(2.3)将(2.3)式代入(2.1)式,可
2014-12-25 09:59:04 791
原创 最速下降法
1. 定义一阶最优化算法。以负梯度方向作为极小化方法的下降方向,即(1.1)2. 为什么负梯度方向是下降最快的方向?(1)将目标函数f(x)在x_k处泰勒级数展开,如下所示:(2.1)其中x_k表示第k次极值迭代点,是f(x)在x_k处的偏导,o(x_k)表示高阶无穷小。(2)将迭代公式(标准的line search公式,其中p是下降方向,一般有||
2014-12-16 09:39:49 7610
原创 Deep Fisher Networks for Large-Scale Image Classification(精读)
1. 文献名称和作者
2014-10-07 16:02:35 1477
转载 算法复杂度——时间复杂度和空间复杂度
1、时间复杂度 (1)时间频度 一个算法执行所耗费的时间,从理论上是不能算出来的,必须上机运行测试才能知道。但我们不可能也没有必要对每个算法都上机测试,只需知道哪个算法花费的时间多,哪个算法花费的时间少就可以了。并且一个算法花费的时间与算法中语句的执行次数成正比例,哪个算法中语句执行次数多,它花费时间就多。一个算法中的语句执行次数称为语句频度或时间频度。记为T(n)。 (2)时间复
2013-08-25 20:00:14 584
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人