一些数学基础

范数

在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。

• LP范数不是一个范数，而是一组范数。定义如下：

$$L_p=\Vert x{\Vert }_p=\sqrt[p]{\sum _{i=1}^n{x}_i^p},x=(x_1,x_2,\dots ,x_n)$$

• L0范数表示向量中非零元素的个数。
• L1范数表示向量x中非零元素的绝对值之和。定义如下：

$$L_1=\Vert x{\Vert }_1=\sum _{i=1}^n|x_i|,x=(x_1,x_2,\dots ,x_n)$$

• L2范数表示向量元素的平方和再开平方，即欧氏距离。

  二范数指矩阵A的2范数，就是A的转置共轭矩阵与矩阵A的积的最大特征根的平方根值，是指空间上两个向量矩阵的直线距离。类似于求棋盘上两点间的直线距离。

  定义如下：

$$L_2=\Vert x{\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2},x=(x_1,x_2,\dots ,x_n)$$

• 百度百科
• 几种范数

梯度

即对于一般标量函数$f(x)$ , 其中向量为$x=(x_1,x_2,\dots ,x_n)$，导数为：
$$\frac{\partial f}{\partial x}=(\frac{\partial f}{\partial x_1},\dots ,\frac{\partial f}{\partial x_2})$$

雅可比矩阵

在向量微积分中，雅可比矩阵(Jacobi Matrix)是一阶偏导数以一定方式排列成的矩阵，其行列式称为雅可比行列式。雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近。因此，雅可比矩阵类似于多元函数的导数。

$$J(f)=\left|\frac{\partial (f_1,\dots ,f_n)}{\partial (x_1,\dots ,x_n)}\right|=\left|\begin{array}{ccc}\frac{\partial f_1}{\partial x_1}& \dots & \frac{\partial f_1}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_n}{\partial x_1}& \dots & \frac{\partial f_n}{\partial x_n}\end{array}\right|$$

若m=n，则雅可比矩阵为方阵，方阵的行列式为雅可比行列式。

• 雅可比矩阵

海森矩阵

黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。

$$
H(f)=\left[\begin{matrix}
\frac{\partial^{2} {f}}{\partial{x_1^{{2}}}&\frac{\partial}2{f}}{\partial{x_1}\partial{x_2}}&\dots&\frac{\partial^2{f}}{\partial{x_1}\partial{x_n}}\

\frac{\partial^{2{f}}{\partial{x_2}\partial{x_1}}&\frac{\partial}2{f}}{\partial{x_2^{2}}&\dots&\frac{\partial}2{f}}{\partial{x_2}\partial{x_n}}\

\vdots&\vdots&\ddots&\vdots\

\frac{\partial^{2{f}}{\partial{x_n}\partial{x_1}}&\frac{\partial}2{f}}{\partial{x_n}\partial{x_2}}&\dots&\frac{\partial^{2{f}}{\partial{x_n}2}}\

\end{matrix}\right]
$$

• 海森矩阵

泰勒公式

数学中，泰勒公式是一个用函数在某点的信息描述其附近取值的公式。如果函数足够平滑的话，在已知函数在某一点的各阶导数值的情况之下，泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的值。泰勒公式还给出了这个多项式和实际的函数值之间的偏差。

$$f(x)=\frac{f(a)}{0!}+\frac{f^{\prime }(a)}{1!}(x-a)+\frac{f^{\prime \prime }(a)}{2!}(x-a{)}^2+\cdots +\frac{f^n(a)}{n!}(x-a{)}^n+R_n(x)$$

李代数

首先特殊正交群SO(3)可以代表旋转矩阵，SE(3)可以代表欧式变换矩阵。矩阵对于乘法封闭，对于加法不封闭，所以具有群的特性。

李群是指具有连续(光滑)性质的群。

• 外积
  $$\mathbf{a}\times \mathbf{b}=\left[\begin{array}{ccc}\mathbf{i}& \mathbf{j}& \mathbf{k}\\ a_1& a_2& a_3\\ b_1& b_2& b_3\end{array}\right]=\left[\begin{array}{c}{a}_2{b}_3-a_3{b}_2\\ a_3{b}_1-a_1{b}_3\\ a_1{b}_2-a_2{b}_1\end{array}\right]=\left[\begin{array}{ccc}0& -a_3& a_2\\ a_3& 0& -a_1\\ -a_2& a_1& 0\end{array}\right]\mathbf{b}\triangleq {\mathbf{a}}^{\wedge }\mathbf{b}$$
  相应的，有
  $$\begin{gathered} \mathbf{a}=[a_1\mathbf{i},a_2\mathbf{j},a_3\mathbf{k}], \\ {\mathbf{a}}^{\wedge }=\mathbf{A}=\left[\begin{array}{ccc}0& -a_3& a_2\\ a_3& 0& -a_1\\ -a_2& a_1& 0\end{array}\right], \\ {\mathbf{A}}^{\vee }=\mathbf{a} \end{gathered}$$

• 特殊正交群 $SO(3)$
  S O ( 3 ) = { R ∈ R 3 × 3 ∣ R R T = I , det ⁡ ( R ) = 1 } SO(3)=\{R\in\mathbb{R}^{3\times3}|RR^T=I,\det(R)=1\} SO(3)={R∈R3×3∣RRT=I,det(R)=1}

• 特殊欧式群$SE(3)$
  S E ( 3 ) = { T = [ R t 0 T 1 ] ∈ R 4 × 4 ∣ R ∈ S O ( 3 ) , t ∈ R 3 } SE(3)=\{T=\left[ \begin{matrix} R&t\\ 0^T&1\\ \end{matrix} \right]\in\mathbb{R}^{4\times4}|R\in SO(3),t\in \mathbb{R}^3\} SE(3)={T=[R0T​t1​]∈R4×4∣R∈SO(3),t∈R3}

• 李代数$\mathfrak{s}\mathfrak{o}(3)$

  在对$R{R}^T=I$进行求导及整理之后，可以得到$R(t{)}^{{}^{\prime }}R(t{)}^T$是一个反对称矩阵，那么就用一个$\varphi (t)\in {\mathbb{R}}^3$与之对应。有：
  $$R(t{)}^{{}^{\prime }}R(t{)}^T=\varphi (t{)}^{\wedge }$$
  之后求解微分方程，可以得到：
  $$R(t)=exp({\varphi }^{\wedge }t)$$
  实际求解时利用到指数映射和对数映射。

奇异值分解

参考资料

分解原理

方阵的迹

百度百科词条

在线性代数中，一个n×n矩阵A的主对角线（从左上方至右下方的对角线）上各个元素的总和被称为矩阵A的迹（或迹数），一般记作tr(A)。

性质

• tr(AB)=tr(BA)

• tr(ABC)=tr(CAB)=tr(BCA)

• f(a)=tr(AB)，${▽}_{A}tr(AB)=B^T$

• $tr(A)=tr(A^T)$

• tr(a)=a,$a\in R$

• ${▽}_{A}tr(AB{A}^{T}C)=CAB+C^{T}A{B}^T$