数学笔记1

参考资料：

• https://blog.csdn.net/u010087338/article/details/117696482
• 《数字图像滤波算法的研究及应用》倪层敏 著

1、均值、标准差、方差

• 均值、期望：估算样品集合的平均水平
  $$\overline{\text{X}}=\frac{{\sum }_{i=1}^n{X}_i}{n}$$
• 标准差：
  $$s=\sqrt{\frac{{\sum }_{i=1}^n(X_i-\overline{X}{)}^2}{n-1}}$$
• 方差：估算样品集合的散步度，单元维度偏离其均值的程度
  $$s^2=\frac{{\sum }_{i=1}^n(X_i-\overline{X}{)}^2}{n-1}$$

2、协方差

• 协方差（covariance）：模拟方差的定义，度量各个维度偏离其均值的程度
  $$cov(X,Y)=\frac{{\sum }_{i=1}^n(X_i-\overline{X})(Y_i-\overline{Y})}{n-1}$$
  通俗理解：方差是计算一个班级每个人身高的离散程度之和。协方差是计算一个班级每个人（i=0,1,2…）的身高和体重（两个变量）的相互影响，然后求和。
  其他公式：（E表示数学期望）
  $$Cov(X_i,X_j)=E[(X_i-E[X_i])(X_j-E[X_j])]$$

2.1、协方差矩阵

描述多个随机变量之间的协方差的方阵。协方差是两个随机变量的线性相关程度的度量。

如果有n个随机变量$X_1,X_2,\dots ,X_n$，那么它们的协方差矩阵$\sum$可以表示为：
$$\sum =\left[\begin{array}{cccc}Cov(X_1,X_1)& Cov(X_1,X_2)& \cdots & Cov(X_1,X_n)\\ Cov(X_2,X_1)& Cov(X_2,X_2)& \cdots & Cov(X_1,X_n)\\ ⋮& ⋮& \ddots & ⋮\\ Cov(X_n,X_1)& Cov(X_n,X_2)& \cdots & Cov(X_n,X_n)\end{array}\right]\text{\hspace{1em}(c)}$$

2.1.1、协方差矩阵奇异值分解（SVD）

• 将X的转置（$X^T$）与X相乘，等效于计算X和X在每个维度上对应坐标的内积。
• 内积反映两个向量在某个维度上的相似程度，越相似内积越大
• 因此$X^{T}X$的每个元素就是X和X在该维度上坐标的协方差（还没很理解enmm）

协方差矩阵是一个描述两个或多个随机变量之间的线性关系的矩阵，它的元素是各对随机变量之间的协方差。协方差矩阵可以进行奇异分解（SVD），参考下面SVD解析，假设X是一个np的数据矩阵，每一行是一个p维的观测值，每一列斯一个n维的变量，那么X的协方差矩阵S可以写为：$$S=\frac{1}{n-1}{X}^{T}X$$
S的奇异值分解可以写为：
$$S=U\sum V^T$$
其中，U、V都是p*p的正交矩阵（$U^{T}U=V{V}^T=I$，$I$是单位矩阵），$\sum$是pp的对角矩阵（$\sum =diag({\sigma }_1,{\sigma }_2,\dots ,{\sigma }_p$，${\sigma }_i$是S的第i个奇异值，按降序排列）。

奇异值分解的几何意义是将原始数据在一个新的坐标系下展开，即各个主成分之间没有线性相关性。

• $\sum$表示各个主成分对数据方差的贡献，越大的奇异值对应越重要的主成分;
• V表示原始数据在新坐标下的投影;

$\sum$是主成分对数据方差的贡献，也就是各主成分的长度。它们不是权重，因为它们不一定加起来等于1。

2.1.2、多维度高斯分布

（这部分有些云里雾里，先记下后面再看）
多维高斯分布有2个参数：
$\mu$：可以用所有样品的均值来估计，代表总体数据的平均值
$\sum$：就是上述协方差矩阵，代表不同维度的相关联程度

3、奇异值分解（SVD）

参考：https://zhuanlan.zhihu.com/p/448767610?utm_id=0
奇异值分解（SVD，Singular Value Decomposition），主要思想就是主成分分解，求解奇异值。奇异值分解可以看作是对矩阵S进行一个旋转、缩放和再旋转的操作，使得S变成一个对角矩阵。这样可以提取出S的主要特征，例如方向、变化程度和线性相关性。

粗俗理解就是一个矩阵(A)转化为3个矩阵($U、\sum 、V^T$)乘积：
$$A=U\sum V^T$$
其中：
A：M*N的矩阵；
$U$：M*M的正交矩阵（即$U^{T}U=I$），$U=A{A}^T$；
$\sum$：M*N的对角矩阵（除主对角线全部是0），主对角线每个元素为奇异值
V：N*N的正交矩阵，$V^T=A^{T}A$

4、傅里叶变换

傅里叶（Fourier）变换，简称DFT变换（更准确应该叫离散傅里叶变换），是把满足某些条件的函数表示为三角函数（正弦函数/余弦函数）或它们积分的线性组合，傅里叶变换是对傅里叶级数控制到有限的有限序列长后的离散化。

• 满足一定条件的函数通过一定的分解，可延拓为周期为l的函数，进一步展开为傅里叶级数，即：

$$f(x)=\frac{a_0}{2}+\sum _{n=1}^{\infty }(a_{n}cos\frac{n\pi x}{l}+b_{n}sin\frac{n\pi x}{l})$$
其中，系数$a_n$，$b_n$:

$$a_n=\frac{1}{l}{\int }_{-l}^{l}f(x)cos\frac{n\pi x}{l}dx,(n=0,1,2,\dots )$$
$$b_n=\frac{1}{l}{\int }_{-l}^{l}f(x)sin\frac{n\pi x}{l}dx,(n=1,2,\dots )$$

4.1、一维DFT变换

一元连续函数f(x)的傅里叶变换F(u)：
$$F(u)={\int }_{-\infty }^{\infty }f(x)e^{-j2\pi ux}dx$$
F(u)的傅里叶反变换为：
$$f(x)={\int }_{-\infty }^{\infty }F(u)e^{-j2\pi ux}du$$

4.1.1、一维离散傅里叶变换

对上述$f(x)$进行等间隔采样，设采样了N个样本，这离散序列可表示为 { f ( 0 ) , f ( 1 ) , … , f ( N − 1 ) } \{f(0),f(1),…,f(N-1)\} {f(0),f(1),…,f(N−1)}，记x为离散实变量，u为离散频率变量。

• 一维离散傅里叶变换：
  $$F(u)=\sum _{x=0}^{N-1}f(x)e^{-j2\pi ux/N},u=0,1,2,\dots ,N-1$$
• F(u)对反变换：
  $$f(x)=\frac{1}{N}\sum _{x=0}^{N-1}F(u)e^{j2\pi ux/N},x=0,1,2,\dots ,N-1$$