概念和术语-数学&统计学

径向基函数：是一个取值仅仅依赖于离原点距离的实值函数，也就是Φ（x）=Φ(‖x‖),或者还可以是到任意一点c的距离，c点称为中心点，也就是Φ（x，c）=Φ(‖x-c‖)。任意一个满足Φ（x）=Φ(‖x‖)特性的函数Φ都叫做径向基函数，标准的一般使用欧氏距离（也叫做欧式径向基函数），尽管其他距离函数也是可以的。

余维数：是衡量子空间（子簇等等）大小的一个数值量。假设X是一个代数簇， Y是X中的一个子簇。 X的维数是n， Y的维数是m，那么我们称Y在X中的余维数是n-m，特别地，如果X和Y都是线性空间，那么Y在X中的余维数就是Y的补空间的维数。

超平面：是n维欧氏空间中余维度等于一的线性子空间，也就是必须是(n-1)维度。在几何体中，超平面是一维小于其环境空间的子空间。如果空间是3维的，那么它的超平面是二维平面，而如果空间是二维的，则其超平面是一维线。

最优化原理：“一个过程的最优决策具有这样的性质：即无论其初始状态和初始决策如何，其今后诸策略对以第一个决策所形成的状态作为初始状态的过程而言，必须构成最优策略”。简言之，一个最优策略的子策略，对于它的初态和终态而言也必是最优的。

完全平方：指用一个整数乘以自己例如1*1，2*2，3*3等，依此类推。若一个数能表示成某个整数的平方的形式，则称这个数为完全平方数。完全平方数是非负数，而一个完全平方数的项有两个。完全平方数的约数是奇数个。

参数模型和非参数模型

参数模型通常假设总体（随机变量）服从某一个分布，该分布由一些参数确定（比如正态分布由均值和方差确定），在此基础上构建的模型称为参数模型；非参数模型对于总体的分布不做任何假设，只是知道总体是一个随机变量，其分布是存在的（分布中也可能存在参数），但是无法知道其分布的形式，更不知道分布的相关参数，只有在给定一些样本的条件下，能够依据非参数统计的方法进行推断。

从上述的区别中可以看出，问题中有没有参数，并不是参数模型和非参数模型的区别。其区别主要在于总体的分布形式是否已知。 而为何强调“参数”与“非参数”，主要原因在于参数模型的分布可以由参数直接确定。

曼哈顿距离

图中红线代表曼哈顿距离，绿色代表欧氏距离，也就是直线距离，而蓝色和黄色代表等价的曼哈顿距离。曼哈顿距离——两点在南北方向上的距离加上在东西方向上的距离，即d(i,j)=|xi-xj|+|yi-yj|。对于一个具有正南正北、正东正西方向规则布局的城镇街道，从一点到达另一点的距离正是在南北方向上旅行的距离加上在东西方向上旅行的距离，因此，曼哈顿距离又称为出租车距离。曼哈顿距离不是距离不变量，当坐标轴变动时，点间的距离就会不同。曼哈顿距离示意图在早期的计算机图形学中，屏幕是由像素构成，是整数，点的坐标也一般是整数，原因是浮点运算很昂贵，很慢而且有误差，如果直接使用AB的欧氏距离(欧几里德距离：在二维和三维空间中的欧氏距离的就是两点之间的距离），则必须要进行浮点运算，如果使用AC和CB，则只要计算加减法即可，这就大大提高了运算速度，而且不管累计运算多少次，都不会有误差。

解析解/闭式解

解析解(analytical solution)就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题.
所谓的解析解是一种包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。
用来求得解析解的方法称为解析法〈analytic techniques〉，解析法即是常见的微积分技巧，例如分离变量法等。
解析解为一封闭形式〈closed-form〉的函数，因此对任一独立变量，我们皆可将其带入解析函数求得正确的相应变量。
因此，解析解也被称为闭式解（closed-form solution）

先验概率和后验概率

先验概率：直观理解，所谓“先”，就是在事情之前，即在事情发生之前事情发生的概率。是根据以往经验和分析得到的概率。

后验概率：事情已经发生了，事情发生可能有很多原因，判断事情发生时由哪个原因引起的概率。

先验分布：Prior Distribution

后验概率就是一种条件概率，但是与其它条件概率的不同之处在于，它限定了目标事件为隐变量取值，而其中的条件为观测结果。一般的条件概率，条件和事件都可以是任意的。

后验概率就是在已知某B事件发生的情况下，求解其中A事件发生的概率是多少，而A事件正是B事件发生的一个隐状态事件，所以A与B是有前后关联的。在利用贝叶斯进行文本分类的时候也是这个意思，P(c/d)=p(d/c)p(c)/p(d) ，d文档分为c类的概率，p(c)就是先验概率，p(c/d)就是后验概率，所以贝叶斯就是用先验概率估计后验概率。而一般的条件概率，目标事件A和条件事件B，是可以没有任何关系的。

似然函数

似然函数：在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：

最大似然估计（Maximum Likelihood，ML）

凸集、凸函数和凸优化

凸集(convex set)：在凸几何中，凸集是在凸组合下闭合的仿射空间的子集。更具体地说，在欧氏空间中，凸集是对于集合内的每一对点，连接该对点的直线段上的每个点也在该集合内。例如，立方体是凸集，但是任何中空的或具有凹痕的例如月牙形都不是凸集。

凸函数：是一个定义在某个向量空间的凸子集C上的实值函数f，而且对于凸子集C中任意两个向量x1、x2，有f((x1+x2)/2)<=(f(x1)+f(x2))/2成立。

凸优化：或叫做凸最优化，凸最小化，是数学最优化的一个子领域，研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义上说较一般情形的数学最优化问题要简单，譬如在凸优化中局部最优值必定是全局最优值。凸函数的凸性使得凸分析中的有力工具在最优化问题中得以应用，如次导数等。

假设f、g、h在定义域内是连续可微的，且目标函数f和不等式约束函数g是凸函数，等式约束h是仿射函数（线性函数），则这种约束最优化问题称为凸优化问题。
因此凸优化问题特征的重要特征：

目标函数f，不等式约束函数g是凸函数
等式约束h是仿射函数
满足约束最优化问题的一般形式

凸二次规划问题是凸优化问题的一个特殊形式，当目标函数是二次型函数且约束函数 g 是仿射函数时，就变成一个凸二次规划问题。一般形式为：

凸二次规划问题的特征：

目标函数f是二次型函数
等式约束h是仿射函数
等式约g是仿射函数
满足约束最优化问题的一般形式

histogram bin

histogram的bin就是你怎么去分histogram的意思。

比如你有个dataset是从0到100之间不等的50个数。

现在你想分组，想看着各组的频率分布。

如果用excel，它可以自动设置bin。

比如，你的50个数是：

你不在乎分成几组，也不在乎分组的bin的话，用excel自动分，结果如下：

这里bin自动设置成了14，42.333，70.6667，更多。

如果你想自己设置分组，比如你想设置成20，40，60，80，更多。在excel里自己选定bin就可以了。结果如下：

这里面的frequency就是出现的频率，所有的组的frequency加起来就刚好等于你50个数。比如上图就解释为，这50个数里面，小于20的有四个，介于20到40之间的有12个，大于80的有5个，这样解释。

Jaccard指数

也被称为并交比（Intersection over Union，简称iou）和Jaccard相似系数（Jaccard similarity coefficient）（Paul Jaccard最初创造的系数），是一个用于比较样本集的相似性和多样性的统计量。

协方差

协方差（Covariance）在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

协方差矩阵

双曲函数

双曲函数是一类与常见的三角函数（也叫圆函数）类似的函数。最基本的双曲函数是双曲正弦函数sinh和双曲余弦函数cosh，从它们可以导出双曲正切函数tanh等，其推导也类似于三角函数的推导。双曲函数的反函数称为反双曲函数。

双曲正弦（hyperbolic sine）

双曲余弦（hyperbolic cosine）

双曲正切（hyperbolic tangent）

插值

在离散数据的基础上补插连续函数，使得这条连续曲线通过全部给定的离散数据点。插值是离散函数逼近的重要方法，利用它可通过函数在有限个点处的取值状况，估算出函数在其他点处的近似值。插值：用来填充图像变换时像素之间的空隙。

“格”

一种特殊的偏序集。在许多数学对象中，所考虑的元素之间具有某种顺序。

例如，一组实数间的大小顺序；一个集合的诸子集（或某些子集）间按（被包含）所成的顺序；一组命题间按蕴涵所成的顺序；等等。这种顺序一般不是全序，即不是任意二元素间都能排列顺序，而是在部分元素间的一种顺序即偏序（半序）。偏序集和格就是研究顺序的性质及作用而产生的概念和理论。

向量范数

范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。

1-范数表示向量元素绝对值之和。

2-范数表示向量元素绝对值的平方和再开方。

向量的p-范数表示的意思是向量所有元素绝对值的p次方和的1/p次幂。

矩阵的谱范数

矩阵范数是向量范数的推广。

矩阵的1-范数是列和范数，即矩阵的所有列向量绝对值之和的最大值。

$\left \| A \right \|_{1} = \max _{1<=j<=n}\sum_{i=1}^{m}\left | a_{ij}} \right |$

矩阵的2-范数即为谱范数，是其最大的奇异值或半正定矩阵A*A的最大特征值的平方根。其中A*表示A的共轭转置。

$\left \| A \right \|_{2} = \sqrt{\lambda _{max}(A^{*}A))}$

赋范线性空间

赋范线性空间(normed linear space)是在线性空间中引进一种与代数运算相联系的度量，即由向量范数诱导出的度量

Identity function（恒等函数）

在数学里，恒等函数为一无任何作用的函数：它总是传回和其引数相同的值。换句话说，恒等函数为函数f(x) = x。

累积概率(cumulative probability)

GEMM，General Matrix Multiplication

鞍点（Saddle point）在微分方程中，沿着某一方向是稳定的，另一条方向是不稳定的奇点，叫做鞍点。在泛函中，既不是极大值点也不是极小值点的临界点，叫做鞍点。在矩阵中，一个数在所在行中是最大值，在所在列中是最小值，则被称为鞍点。

Sigmoid函数求导

正定矩阵 (positive definite matrix)

有时会简称为正定阵。

广义定义：设M是n阶方阵，如果对任何非零向量z，都有 $z^{T}Mz$ > 0，其中 $z^{T}$ 表示z的转置，就称M为正定矩阵。

狭义定义：一个n阶的实对称矩阵M是正定的的条件是当且仅当对于所有的非零实系数向量z，都有 $z^{T}Mz$ > 0。其中 $z^{T}$ 表示z的转置。

天边一坨浮云

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
概念和术语-数学&统计学

目录统计学数学双曲函数插值“格”向量范数矩阵的谱范数赋范线性空间Identityfunction（恒等函数）统计学最大后验（Maximum A Posteriori，MAP）最大似然估计（Maximum Likelihood，ML）联合概率分布：Joint Distribution条件概率分布：Conditional Distribution多项分布：Multinomial Distribution先验分布：Prior Distributio.
复制链接

扫一扫