数学
wxing2008666
这个作者很懒,什么都没留下…
展开
-
无约束最优化方法
梯度的方向与等值面垂直。二次收敛是指一个算法用于具有正定二次型函数时,在有限步可达到它的极小点。二次收敛与二阶收敛没有尽然联系,更不是一回事,二次收敛往往具有超线性以上的收敛性。一阶收敛不一定是线性收敛。解释一下什么叫正定二次型函数:n阶实对称矩阵Q,对于任意的非0向量X,如果有XTQX>0,则称Q是正定矩阵。对称矩阵Q为正定的充要条件是:Q的特征值全为正。二次函数,若Q是正定转载 2013-04-15 14:27:19 · 902 阅读 · 0 评论 -
海赛(Hesse)矩阵
在数学中,海色矩阵是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵,此函数如下: 如果f所有的二阶导数都存在,那么f 的海色矩阵即:H(f)ij(x) = DiDjf(x) 其中 ,即 (也有人把海色定义为以上矩阵的行列式)海色矩阵被应用于牛顿法解决的大规模优化问题。 混合偏导数和海色矩阵的对称性海色矩阵的混合偏导数是海色矩阵主对角线上转载 2013-04-19 20:33:36 · 5806 阅读 · 0 评论 -
数学之美番外篇--贝叶斯方法
概率论只不过是把常识用数学公式表达了出来。——拉普拉斯记得读本科的时候,最喜欢到城里的计算机书店里面去闲逛,一逛就是好几个小时;有一次,在书店看到一本书,名叫贝叶斯方法。当时数学系的课程还没有学到概率统计。我心想,一个方法能够专门写出一本书来,肯定很牛逼。后来,我发现当初的那个朴素归纳推理成立了——这果然是个牛逼的方法。——题记目录0. 前言 1. 历史转载 2013-05-03 13:37:22 · 879 阅读 · 0 评论 -
拉格朗日乘数法
在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候,只知道直接应用两个方法,但是却转载 2013-05-03 13:19:20 · 1187 阅读 · 0 评论 -
贝叶斯估计与最大似然估计
极大似然估计极大似然估计的基本想法是:我们所看到的,就是最可能发生的。所以通过最大化实验数据发生的概率P(x|θ) (其中参数θ 是未知的),取极值时对应的θ ^ 即为最大似然估计。 贝叶斯估计P(θ|x)=P(x|θ)P(θ) ∑ θ P(x|θ)P(θ) θ 表示一个事件发生的概率,例如扔一个硬币的结果正面朝上的概率,这个概率θ转载 2013-05-06 13:18:50 · 2235 阅读 · 0 评论