证明Ax=0的最小二乘解是ATA的最小特征值对应的特征向量(||x||=1)

**证明:**当 ||x||=1时,Ax=0的最小二乘解是ATAA^TAATA的最小特征值对应的特征向量 证:上式等同于证明如下命题:ATAA^TAATA的最小特征值所对应的特征向量可使||Ax||最小。 (1) 若x为ATAA^TAATA的特征向量,则 ATAx=λx A^TAx=\la...

2019-04-25 17:19:34

阅读数 489

评论数 0

奇异值分解 SVD 的数学解释

奇异值分解(Singular Value Decomposition,SVD)是一种矩阵分解(Matrix Decomposition)的方法。除此之外,矩阵分解还有很多方法,例如特征分解(Eigendecomposition)、LU分解(LU decomposition)、QR分解(QR dec...

2019-04-23 10:45:02

阅读数 63

评论数 0

雅克比矩阵和行列式

设 f:Rn→Rmf : \mathbb{R}_n \to \mathbb{R}_mf:Rn​→Rm​ 是一个函数,它的输入是向量 x∈Rn\mathbf x \in\mathbb{R}_nx∈Rn​ ,输出是向量 y=f(x)∈Rm\mathbf y=f(\mathbf x)\in\math...

2019-04-15 17:38:13

阅读数 115

评论数 0

变分法理解2——基本方法

本文是变分法理解系列的第2篇文章,第一篇文章见变分法理解1——泛函简介,本文的要点如下: 基本概念 两个引理 什么是函数的变分 什么是泛函的变分 欧拉-拉格朗日方程(Euler–Lagrange equation)的证明 基本概念 具有某种共同性质的函数构成的集合称为类函数,...

2019-04-10 23:03:55

阅读数 56

评论数 0

变分法理解1——泛函简介

变分法是处理泛函的数学领域,和处理函数的传统微积分相对。 对泛函求极值的问题称为变分问题,使泛函取极值的函数称为变分问题的解,也称为极值函数。 传统的微积分中的一个常见的问题是找到一个xxx 值使得 y(x)y(x)y(x) 取得最大值或者最小值。类似的,变分法中,寻找一个函数 y(x)y(x...

2019-04-08 17:06:21

阅读数 131

评论数 0

Jensen不等式初步理解及证明

Jensen不等式(Jensen’s inequality)是以丹麦数学家Johan Jensen命名的,它在概率论、机器学习、测度论、统计物理等领域都有相关应用。 在机器学习领域,我目前接触到的是用Jensen不等式用来证明KL散度大于等于0(以后写一篇文章总结一下)。 Jensen不等式是...

2019-04-08 15:12:59

阅读数 194

评论数 0

平均数 中位数 众数的实际意义

平均数:反映了一组数据的平均大小,常用来一代表数据的总体 “平均水平”。 中位数:像一条分界线,将数据分成前半部分和后半部分,因此用来代表一组数据的“一般水平”。 众数:反映了出现次数最多的数据,用来代表一组数据的“多数水平”。 平均数:与每一个数据都有关,其中任何数据的变动都会相应引起平均...

2019-04-08 10:45:04

阅读数 132

评论数 0

共轭复数的性质及复数模的运算性质

定义:复数z=a+bi(a,b∈R)z=a+bi(a,b\in R)z=a+bi(a,b∈R)的共轭复数记作z‾\overline {z}z,也就是 z‾=a−bi \overline {z}=a-bi z=a−bi 一.共轭复数的性质: 1.∣z∣=∣z‾∣|z|=| \overlin...

2019-04-08 09:32:46

阅读数 256

评论数 0

详解最大似然估计(MLE)、最大后验概率估计(MAP),以及贝叶斯公式的理解

最大似然估计(Maximum likelihood estimation, 简称MLE)和最大后验概率估计(Maximum a posteriori estimation, 简称MAP)是很常用的两种参数估计方法,如果不理解这两种方法的思路,很容易弄混它们。下文将详细说明MLE和MAP的思路与区别...

2019-04-07 20:28:30

阅读数 145

评论数 0

对偶和KKT条件

前言: 对偶(duality)是优化中的一个很重要的一点,以对偶问题的特性为根本的KKT条件,在很多优化问题的求解上行之有效。本文简要介绍对偶问题的基本概念和核心技术以及KKT求解的原理和方法。 什么是对偶? 对偶问题,就是将原问题(primal problem)转化为对偶问题(dual prob...

2019-04-07 11:23:26

阅读数 70

评论数 0

KTT条件

最优化问题可以根据目标函数和约束条件的类型进行分类:1).如果目标函数和约束条件都为变量的线性函数,称为最优化问题为线性规划;2).如果目标函数为变量的二次函数,约束条件为线性函数,称为二次规划;3)如果目标函数或者约束条件为变量的非线性函数,称改最优化问题为非线性规划KKTKKT条件是指在满足一...

2019-04-07 09:58:42

阅读数 22

评论数 0

从KKT条件下的拉格朗日乘法到拉格朗日对偶问题

(一)拉格朗日乘法(Lagrange multiplier) 拉格朗日乘法是最优化问题中,当多元函数的变量受到一个或多个等式约束时,求局部极值的方法。通过将由nnn个变量和kkk个约束条件的最优化问题,转化成一个解有 n+kn+kn+k 个变量的方程组的解的问题。 1.1带有单个等式的约束 ...

2019-04-07 09:38:50

阅读数 542

评论数 0

Lanczos插值,最邻近插值,双线性二次插值,三次插值

[研究内容] 目前比较常用的几种插值算法 [正文] 目前比较常用的插值算法有这么几种:最邻近插值,双线性二次插值,三次插值, Lanczos插值等等,今天我们来对比一下这几种插值效果的优劣。 1,最邻近插值 最邻近插值算法也叫做零阶插值算法,主要原理是让输出像素的像素值等于邻域内离它距...

2019-04-02 16:29:13

阅读数 55

评论数 0

双三次插值及三次卷积算法

       在数学上,双三次插值是三次插值在二维规则网格上插值数据点的推广。所述插值曲面比用双线性插值或最近邻插值得到的相应曲面平滑.双三次插值可以用拉格朗日多项式、三次...

2019-04-02 15:39:42

阅读数 102

评论数 0

Opencv--图像处理之一阶和二阶偏导数

 1. 一阶差分:   2. 二阶偏导数的推导和近似:   3. 上式以点(i+1,j)为中心,用i代换i+1可得以(i,j)为中心的二阶偏导数则有:   4. 同理:   5...

2019-04-02 09:28:40

阅读数 178

评论数 0

Opencv--resize函数五种插值算法实现

最新版OpenCV2.4.7中,cv::resize函数有五种插值算法:最近邻、双线性、双三次、基于像素区域关系、兰索斯插值。下面用for循环代替cv::resize函数来说明其详细的插值实现过程,其中部分代码摘自于cv::resize函数中的源代码。 每种插值算法的前部分代码是相同的,如下: ...

2019-03-31 08:41:08

阅读数 167

评论数 0

Opencv--线性及双线性插值算法

线性插值 先讲一下线性插值:已知数据 (x0, y0) 与 (x1, y1),要计算 [x0, x1] 区间内某一位置 x 在直线上的y值(反过来也是一样,略): y−y0x−x0=y1−y0x1−x0y−y0x−x0=y1−y0x1−x0 y=x1−xx1−x0y0+x−x0x1−x0y1...

2019-03-31 08:40:42

阅读数 56

评论数 0

判断点是否位于多边形内(包含凹多边形)

如果判断点是否在凸多边形内,则有多种方法,方法简单,计算速度也快,直接使用物理引擎做判断也行 但实际问题中遇到的多边形不一定是凸多边形,它可能是凹边行或者复合多边形 判断一个点在多边形内或多边形外,射线法是个不错的选择 射线法:,判断一点是否在多边形内或多边形外,只要从这点起,作一条射线,例...

2019-03-24 09:59:43

阅读数 134

评论数 0

判断点是否位于凸四边形的内部

       已知四边形(凸四边形)的四个点A、B、C、D(按逆时针顺序)的坐标,求点P是否在ABCD所围成的四边形内,可以通过向量叉乘的方法实现。  ...

2019-03-24 09:26:26

阅读数 116

评论数 0

判断点是否在给定四边形内的算法

注意:凹凸多边形的定义 凸多边形:每个内角都是锐角或钝角,也就是没有大于180°的优角的多边形。 凹多边形:至少有一个优角的多边形。 凸多边形就是把一个多边形任意一边向两方无限延长成为一条直线,如果多边形的其他各边均在此直线的同旁,那么这个多边形就叫做凸多边形,也可以理解为通过凸多边形的任意...

2019-03-21 16:14:52

阅读数 224

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭