math
不负韶华T
泛爱众 而亲仁 有余力 则学文
展开
-
Farkas引理
大家学过线性代数,对于线性方程组应该很熟了吧,今天变个样,聊聊线性不等式组。研究线性不等式组,就不能不提著名的Farkas引理,据说是1894年由英国数学家Farkas首先证明,之后又有了很多变种,当然最牛掰的是:当二战爆发后,随着一门新的学科——线性规划——的诞生,这个古老定理焕发了别样的活力。习惯上,Farkas引理有“方程组形式”和“不等式组形式”两种形式。当然,聊不等式组,还是要从转载 2017-05-02 16:13:34 · 10748 阅读 · 1 评论 -
奇异值分解SVD应用——LSI
潜在语义索引(Latent Semantic Indexing)是一个严重依赖于SVD的算法,本文转载自之前吴军老师《数学之美》和参考文献《机器学习中的数学》汇总。————————————在自然语言处理中,最常见的两类的分类问题分别是,将文本按主题归类(比如将所有介绍亚运会的新闻归到体育类)和将词汇表中的字词按意思归类(比如将各种体育运动的名称个归成一类)。这两种分类问题都可用通过转载 2017-05-30 14:00:49 · 386 阅读 · 0 评论 -
旋转矩阵和角速度的一些应用
科里奧利力、離心力和歐拉力是由於坐標系旋轉引起的假象力。設全局坐標系A(又稱慣性系)原點(Origin)為O,局部坐標系B(又稱非慣性系)原點為o,旋轉矩陣為R.在全局坐標系下點P(X,Y,Z)由R變換到局部坐標系下p(x,y,z)的表達式如下:P=Rp這裡P和p是一個點,只不過參考系不同,表現出來的坐標也不同。p跟隨坐標系B運動。對上面的位置函數二次求導就能得到慣转载 2017-05-09 23:31:00 · 2509 阅读 · 0 评论 -
旋转矩阵(Rotate Matrix)的性质分析
学过矩阵理论或者线性代数的肯定知道正交矩阵(orthogonal matrix)是一个非常好的矩阵,为什么这么说?原因有一下几点:正交矩阵每一列都是单位矩阵,并且两两正交。最简单的正交矩阵就是单位阵。正交矩阵的逆(inverse)等于正交矩阵的转置(transpose)。同时可以推论出正交矩阵的行列式的值肯定为正负1的。正交矩阵满足很多矩阵性质,比如可以相似于对角矩阵等等。 以上转载 2017-05-09 17:42:50 · 3379 阅读 · 0 评论 -
最大似然估计 高斯分布
极大似然估计法是求估计的另一种方法。它最早由高斯提出。后来为费歇在1912年的文章中重新提出,并且证明了这个方法的一些性质。极大似然估计这一名称也是费歇给的。这是一种上前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法,极大似然原理的直观想法是:一个随机试验如有若干个可能的结果A,B,C,…。若在一次试验中,结果A出现,则一般认为试验条件对A出现有利,也即A出现的概率很大。转载 2017-05-09 13:35:34 · 1909 阅读 · 0 评论 -
Jacobi迭代法与Gauss-Seidel迭代法
之前我在博客里介绍过牛顿-拉弗逊迭代法,对数据挖掘技术熟悉的同学应该还知道有梯度下降法(其实也是一种迭代算法)。今天刚好有朋友和我讨论泊松图像融合算法,我说我过去文章里给出的是最原始、最直观的实现算法。对于理解泊松融合的原理比较有帮助,但是效率可能并不理想。印象中,泊松融合是有一个以矩阵为基础的快速算法的。但是过去我浅尝辄止了,也没深究,今天刚好再提到,小看了一下,似乎涉及高斯-塞德尔迭代法。好吧转载 2017-05-09 11:51:16 · 12579 阅读 · 0 评论 -
最大似然估计
最大似然估计学习总结------MadTurtle1. 作用在已知试验结果(即是样本)的情况下,用来估计满足这些样本分布的参数,把可能性最大的那个参数作为真实的参数估计。2. 离散型设为离散型随机变量,为多维参数向量,如果随机变量相互独立且概率计算式为P{,则可得概率函数为P{}=,在固定时,上式表示的概率;当已知的时候,它又变成的函数,可以把它记为,称此函数为似然函数。似转载 2017-05-09 11:40:51 · 1564 阅读 · 0 评论 -
离散正(余)弦信号的时域与FFT变换后所得频域之间的关系(幅值和相角)
正弦信号在信号处理中是很常见的,比如通信领域的载波。由于正弦与余弦只是相差π/2的初相,因此这里统称正弦信号。给出连续正弦信号的表达式:式中,A为振幅,Ω为模拟角频率(rad/s),φ为初相,f为模拟频率(Hz),Ω=2πf 。 在满足奈奎斯特采样定理条件下对信号x(t)进行采样得到离散正弦信号x(n)式中,fs为采样频转载 2017-05-17 16:59:43 · 2402 阅读 · 0 评论 -
帕塞瓦尔定理(能量守恒定理)证明
原创 2017-05-16 16:49:24 · 15917 阅读 · 0 评论 -
Softmax 函数及其作用(含推导)
Softmax函数的定义及作用Softmax是一种形如下式的函数:P(i)=exp(θTix)∑Kk=1exp(θTkx)其中θi和x是列向量,θTix可能被换成函数关于x的函数fi(x)。通过softmax函数,可以使得P(i)的范围在[0,1]之间。在回归和分类问题中,通常θ是待求参数,通过寻找使得P(i)最大的θi作为最佳参数。但是,使得范围在[0,1]之间的方法有很转载 2017-05-11 22:15:04 · 2200 阅读 · 1 评论 -
duality
这套理论不仅适用于 SVM 的优化问题,而是对于所有带约束的优化问题都适用的,是优化理论中的一个重要部分。简单来说,对于任意一个带约束的优化都可以写成这样的形式:mins.t.f0(x)fi(x)≤0,i=1,…,mhi(x)=0,i=1,…,p形式统一能够简化推导过程中不必要的复杂性。其他的形式都可以归约到这样的标准形式,例如一个 maxf(x) 可以转化为 min−转载 2017-05-02 19:13:59 · 1550 阅读 · 0 评论 -
KKT 条件
KKT条件是解决最优化问题的时用到的一种方法。我们这里提到的最优化问题通常是指对于给定的某一函数,求其在指定作用域上的全局最小值。提到KKT条件一般会附带的提一下拉格朗日乘子。对学过高等数学的人来说比较拉格朗日乘子应该会有些印象。二者均是求解最优化问题的方法,不同之处在于应用的情形不同。 一般情况下,最优化问题会碰到一下三种情况:(1)无约束条件 这是最简单的情况,解决转载 2017-05-02 19:10:11 · 651 阅读 · 0 评论 -
交叉熵代价函数cross-entropy
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式。与二次代价函数相比,它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前,本文先简要介绍二次代价函数,以及其存在的不足。1. 二次代价函数的不足 ANN的设计目的之一是为了使机器可以像人一样学习知识。人在学习分析新事物时转载 2017-12-02 11:34:56 · 1067 阅读 · 0 评论