数学方法/算法设计
xiaoshengforever
山东大学计算机硕士在读,现在在百度实习,专注机器学习计算机视觉、模式识别、数据挖掘、搜索技术等开发与研究
展开
-
最小二乘法
在我们研究两个变量(x,y)之间的相互关系时,通常可以得到一系列成对的数据(x1,y1.x2,y2... xm,ym);将这些数据描绘在x -y直角坐标系中,若发现这些点在一条直线附近,可以令这条直线方程如(式1-1)。Yj= a0 + a1 Xi (式1-1)其中:a0、a1 是任意实数为建立这直线方程就要确定a0和a1,应用《最小二乘法原理》,将实测值Yi与利用(式原创 2013-09-28 18:17:03 · 1013 阅读 · 0 评论 -
狄拉克δ函数
狄拉克δ函数[编辑]维基百科,自由的百科全书狄拉克δ函数(Dirac Delta function),有时也说单位脉冲函数。通常用δ表示。在概念上,它是这么一个“函数”:在除了零以外的点都等于零,而其在整个定义域上的积分等于1。严格来说狄拉克δ函数不能算是一个函数,因为满足以上条件的函数是不存在的。但可以用分布的概念来解释,称为狄拉克δ分布,或δ分布,但与费原创 2013-11-06 10:41:51 · 16589 阅读 · 3 评论 -
最小二乘法的几何意义 – 巧妙记忆公式的方法
上次写了篇文章来阐述几何投影与傅里叶级数的联系,今天我想谈谈几何投影与最小二乘法的联系,这种联系的好处是不管多复杂的公式,又可以被瞬间记住了。本文的中心思想是:最小二乘法中的几何意义是高维空间中的一个向量在低维子空间的投影。这个思想在MIT教授Gilbert Strang的线性代数的公开课程上有讨论,这里我会把这个思想详细的阐述一遍。文章最后会把傅里叶级数和最小二乘法放在一起做个比较和总结,希望大原创 2013-11-08 20:57:52 · 22263 阅读 · 6 评论 -
拉普拉斯矩阵
1、拉普拉斯矩阵拉普拉斯矩阵(Laplacian matrix) 也叫做导纳矩阵、基尔霍夫矩阵或离散拉普拉斯算子,主要应用在图论中,作为一个图的矩阵表示。2、定义3、示例原创 2013-12-03 13:17:06 · 2755 阅读 · 0 评论 -
(转载)Logistic regression (逻辑回归)
转载 点击打开链接Logistic regression (逻辑回归)是当前业界比较常用的机器学习方法,用于估计某种事物的可能性。比如某用户购买某商品的可能性,某病人患有某种疾病的可能性,以及某广告被用户点击的可能性等。(注意这里是:“可能性”,而非数学上的“概率”,logisitc回归的结果并非数学定义中的概率值,不可以直接当做概率值来用。该结果往往用于和其他特征值加权求和,而非直接相乘原创 2013-12-20 10:31:29 · 1168 阅读 · 0 评论 -
弗罗贝尼乌斯范数(Frobenius norm)
弗罗贝尼乌斯范数对 p = 2,这称为弗罗贝尼乌斯范数(Frobenius norm)或希尔伯特-施密特范数( Hilbert–Schmidt norm),不过后面这个术语通常只用于希尔伯特空间。这个范数可用不同的方式定义:这里 A* 表示 A 的共轭转置,σi 是 A 的奇异值,并使用了迹函数。弗罗贝尼乌斯范数与 Kn 上欧几里得范数非常类似,来自所有矩阵的空原创 2014-03-07 19:31:07 · 77082 阅读 · 5 评论 -
雅可比矩阵 和 海森矩阵
原创 2014-04-15 09:36:32 · 1752 阅读 · 0 评论 -
范数的定义
0-范数:就是指向量中非0项个数1-范数:是指向量(矩阵)里面非零元素的个数。类似于求棋盘上两个点间的沿方格边缘的距离。 ||x||1 = sum(abs(xi));2-范数(或Euclid范数):是指空间上两个向量矩阵的直线距离。类似于求棋盘上两点见的直线距离 (无需只沿方格边缘)。 ||x||2 = sq原创 2014-04-01 21:23:15 · 6409 阅读 · 0 评论