线性代数：双线性函数学习笔记

线性代数：双线性函数学习笔记

本文将介绍线性代数中的双线性函数（Bilinear Function）的概念、性质、矩阵表示及应用，希望对读者加深对线性代数的理解和应用有所帮助。

一、背景

在线性代数中，双线性函数是一种非常重要的概念。它应用广泛，并在代数、拓扑、微积分等领域都有体现。在机器学习中，双线性函数也是非常重要的，如协方差矩阵就可以看作一种双线性函数。

二、定义

对于向量空间 $V$ 上的两个向量 $\mathbf{x},\mathbf{y}$ 和一个域 $F$ 中的标量 $\lambda$，如果存在一个函数 $B(\mathbf{x},\mathbf{y})$，满足：

1. $B(\mathbf{x}+\mathbf{y},\mathbf{z})=B(\mathbf{x},\mathbf{z})+B(\mathbf{y},\mathbf{z})$
2. $B(\lambda \mathbf{x},\mathbf{y})=\lambda B(\mathbf{x},\mathbf{y})=B(\mathbf{x},\lambda \mathbf{y})$
3. $B(\mathbf{x},\mathbf{y})=B(\mathbf{y},\mathbf{x})$
4. 存在一个 $V$ 中的基 { e i } \{\boldsymbol{e}_i\} {ei​}，使得 $B({\mathbf{e}}_i,{\mathbf{e}}_j)={\delta }_{ij}$，其中 ${\delta }_{ij}$ 是克罗内克（Kronecker）函数。

则称 $B(\mathbf{x},\mathbf{y})$ 是 $V$ 上的双线性函数。

三、性质

1. 反对称性：若 $B(\mathbf{x},\mathbf{y})=-B(\mathbf{y},\mathbf{x})$，则称 $B$ 是反对称的。
2. 非退化性：若 $B(\mathbf{x},\mathbf{y})=0$ 对于所有 $\mathbf{y}\in V$，则称 $B$ 是退化的；否则称 $B$ 是非退化的。一个非退化的双线性函数一定是满秩的。
3. 正定性：若存在常数 $c>0$，使得对于任意向量 $\mathbf{x}\in V$，有 $B(\mathbf{x},\mathbf{x})\ge c\Vert \mathbf{x}{\Vert }^2$，则称 $B$ 是正定的。

四、矩阵表示

双线性函数可以表示为一个矩阵。设 { e 1 , e 2 , ⋯   , e n } \{\boldsymbol{e}_1,\boldsymbol{e}_2,\cdots,\boldsymbol{e}_n\} {e1​,e2​,⋯,en​} 是 $V$ 的一组基，则 $B(\mathbf{x},\mathbf{y})$ 可以表示为矩阵 $\mathbf{B}=[b_{ij}]$，其中

$$b_{ij}=B({\mathbf{e}}_i,{\mathbf{e}}_j)$$

于是有：

$$B(\mathbf{x},\mathbf{y})=\left[\begin{array}{c}{\mathbf{x}}^T\end{array}\right]\mathbf{B}\left[\begin{array}{c}\mathbf{y}\end{array}\right]$$

五、应用

1. 多项式拟合

在多项式拟合问题中，我们试图找到一个 $\mathbf{x}$ 和 $\mathbf{y}$ 之间的线性关系。多项式函数 $f(x)=a_0+a_{1}x+a_2{x}^2+\cdots +a_n{x}^n$ 可以表示为如下形式：

$$f(x)=\left[\begin{array}{ccccc}1& x& x^2& \cdots & x^n\end{array}\right]\left[\begin{array}{c}{a}_0\\ a_1\\ a_2\\ ⋮\\ a_n\end{array}\right]$$

又可以写成 $\mathbf{y}={\mathbf{x}}^T\mathbf{w}$ 的形式，其中 $\mathbf{y}=[f(x_1),f(x_2),\cdots ,f(x_m){]}^T$，$\mathbf{x}=[1,x_1,x_2,\cdots ,x_m{]}^T$，$\mathbf{w}=[a_0,a_1,a_2,\cdots ,a_n{]}^T$。则 $f(x)$ 可以看作是 $\mathbf{x}$ 和 $\mathbf{y}$ 之间的双线性函数。

2. 协方差矩阵

在机器学习中，协方差矩阵是一个很重要的概念。假设我们有 $n$ 个维度的数据向量 { x 1 , x 2 , ⋯   , x m } \{\boldsymbol{x}_1,\boldsymbol{x}_2,\cdots,\boldsymbol{x}_m\} {x1​,x2​,⋯,xm​}，其每个维度上的样本均值分别为 { x ˉ 1 , x ˉ 2 , ⋯   , x ˉ n } \{\bar{x}_1,\bar{x}_2,\cdots,\bar{x}_n\} {xˉ1​,xˉ2​,⋯,xˉn​}，则样本的协方差矩阵 $\mathbf{S}$ 可表示为：

$$\mathbf{S}=\frac{1}{m}\sum _{i=1}^m({\mathbf{x}}_i-\bar{\mathbf{x}})({\mathbf{x}}_i-\bar{\mathbf{x}}{)}^T$$

这里 $({\mathbf{x}}_i-\bar{\mathbf{x}})$ 可以看作是 $\mathbf{x}$ 和 $\mathbf{y}$ 之间的双线性函数。

六、总结

本文介绍了双线性函数的定义、性质、矩阵表示及应用，并在多项式拟合和协方差矩阵问题中进行了具体说明。双线性函数作为线性代数中的基本概念之一，在机器学习领域有着广泛的应用。