深入思考内积运算，再看傅里叶系数、伽辽金法本质

本文链接：https://blog.csdn.net/qq_50920297/article/details/124798249

关于函数内积的思考

定义内积\点积的核心目的在于描述广义的角度（或称相关性）

1.起源于点积

$\vec{u} \cdot \vec{v}$

点积是人为定义的一种运算方式，描述了向量的长度和角度，其有两种等价的定义方式，代数定义和几何定义。

代数定义：

在线性空间中引入笛卡尔坐标系，坐标和向量一一对应，此时坐标等价于向量，通过对向量坐标的运算可获得点积结果。

二维向量
$\vec{u} =\begin{bmatrix}u_{1} \\u_{2} \end{bmatrix}, \quad \vec{v} =\begin{bmatrix}v_{1} \\v_{2} \end{bmatrix}$

$\vec{u} \cdot \vec{v} = \begin{bmatrix}u_{1} &u_{2} \end{bmatrix}\begin{bmatrix}v_{1} \\v_{2} \end{bmatrix} = u_{1}v_{1}+u_{2}v_{2}$

n维向量：
$\vec{u} = \begin{bmatrix}u_{1} \\u_{2} \\\vdots \\u_{n} \end{bmatrix}, \quad \vec{v} = \begin{bmatrix}v_{1} \\v_{2} \\\vdots \\v_{n} \end{bmatrix}$

$\vec{u} \cdot \vec{v} = \sum_{i=1}^{n} u_{i} v_{i} = u_{1} v_{1} +u_{2} v_{2} +\dots+ u_{n} v_{n}$

几何定义
通过定义向量的长度和角度去描述向量。
$\vec{u} \cdot \vec{v} =\left | \vec{u} \right | \left | \vec{v} \right |\cos \theta$
定义向量长度的计算方式：
$\begin{aligned} &二维向量:\left | \vec{u} \right | =\sqrt{u_{1}^{2} + u_{2}^{2}} = (\sum_{i=1}^{2} u_{i}^{2})^{\frac{1}{2} } \\&n维向量:\left | \vec{u} \right | =\sqrt{u_{1}^{2} + u_{2}^{2}+\cdots + u_{n}^{2}} = (\sum_{i=1}^{n} u_{i}^{2})^{\frac{1}{2} } \end{aligned}$
（注：我们熟悉的欧几里得空间下的距离（长度）公式，其实是由点积运算给出的）
$\left | \vec{u} \right | =\sqrt{u_{1}^{2} + u_{2}^{2}} =(\vec{u} \cdot \vec{u})^{\frac{1}{2} }$

有一个普遍的误区，认为点积结果是投影、分量，严格的讲，不正确，只有当向量与单位向量做点积时，结果的数值才与投影、分量相等，但点积结果同时包含了两者的长度、夹角信息，所以不可能等价于一个数字。

并且投影与分量也是不同的概念

投影以整个空间的单位长度为单位长度，分量以被投影向量的长度为单位长度

$投影=\frac{点积结果}{被投影向量长度}$
$\vec{u}在\vec{v} 方向上的投影 =\left | \vec{u} \right | \cos \theta =\frac{\vec{u} \cdot \vec{v} }{\left | \vec{v} \right |}$
$分量=\frac{点积结果}{被投影向量长度 ^2}=\frac{点积结果}{被投影向量与自己的点积}$
$\begin{aligned} \vec{u}在\vec{v} 上的分量 &=\frac{\vec{u} \cdot \vec{v} }{\left | \vec{v} \right |\left | \vec{v} \right |} \\ &=\frac{\vec{u} \cdot \vec{v} }{\vec{v} \cdot \vec{v} } \end{aligned}$
在这里插入图片描述

2.点积的意义

因为代数定义仅仅运算数字，难以进行分析，所以我们从等价的几何定义分析其意义
$\vec{u} \cdot \vec{v} =\left | \vec{u} \right | \left | \vec{v} \right |\cos \theta$
由几何定义的表达式可知，点积的结果中包含了两个向量的长度和夹角信息
$\begin{aligned} &长度信息: \left | \vec{u} \right | \left | \vec{v} \right | \\&夹角信息:\cos \theta \end{aligned}$
其中的夹角信息很有价值，它反映了向量间的相关性（或者说接近程度），如果两个向量的夹角越小，说明形态很接近，相关性很强。（正是这条性质，使得点积/内积运算拥有了很大的威力）

不过三角函数已经可以描述角度了，为什么还要引入点积运算去描述角度的？

从几何意义的点积结果看，描述角度的是三角函数，确实如此，但问题在于，有可能三角函数不容易计算，甚至在高维空间、其他空间中，不一定存在这种可以直接计算出角度信息的三角函数运算法则，所以更广泛描述角度的方式是，先通过代数定义计算出点积结果，再计算长度信息，然后从点积结果中过滤掉长度信息，剩下的就是抽象的广义角度。

所以引入点积运算的目的是同时定义出长度和角度（但这导致点积运算不纯粹，因为点积结果融和了长度、角度信息）

3.描述向量间的相关性

必须注意的是，点积的结果融和了长度信息和夹角信息，因为相关性和向量的长度无关，所以当我们只关心相关性时，长度信息就变成了干扰，所以利用点积衡量相关性前，应该对向量做单位化（归一化、标准化）处理，剔除长度信息，只保留夹角信息。

1.不剔除长度信息，无法准确描述相关性：
$\vec{a} =\begin{bmatrix}1 \\1 \end{bmatrix}, \quad \vec{b} =\begin{bmatrix}0 \\1 \end{bmatrix}$

$\begin{aligned} &\vec{a} \cdot \vec{b}=\begin{bmatrix}1 &1 \end{bmatrix}\begin{bmatrix}0 \\1 \end{bmatrix}=1 \\ &2\vec{a} \cdot \vec{b}=\begin{bmatrix}2 &2 \end{bmatrix}\begin{bmatrix}0 \\1 \end{bmatrix}=2 \end{aligned}$

2.剔除长度信息：单位化处理，将所有向量的长度（模长）均变换到1
$\begin{aligned} &\vec{{a}' } = \frac{\vec{a} }{\left \| \vec{a} \right \| } = \frac{\begin{bmatrix}1 &1 \end{bmatrix}}{\sqrt{1^{2}+1^{2} } } =\begin{bmatrix}\frac{\sqrt{2} }{2} &\frac{\sqrt{2} }{2} \end{bmatrix} \\ &\vec{{a}''} = \frac{2\vec{a} }{\left \| 2\vec{a} \right \| } = \frac{\begin{bmatrix}2 &2 \end{bmatrix}}{\sqrt{2^{2}+2^{2} } } =\begin{bmatrix}\frac{\sqrt{2} }{2} &\frac{\sqrt{2} }{2} \end{bmatrix} \\ &\vec{{b}' } = \frac{\vec{b} }{\left \| \vec{b} \right \| } = \frac{\begin{bmatrix}0 &1 \end{bmatrix}}{\sqrt{0^{2}+1^{2} } } =\begin{bmatrix}0 &1 \end{bmatrix} \end{aligned}$

$\begin{aligned} &{\vec{a}}' \cdot {\vec{b}}' =\begin{bmatrix}\frac{\sqrt{2} }{2} &\frac{\sqrt{2} }{2} \end{bmatrix}\begin{bmatrix}0 \\1 \end{bmatrix}=\frac{\sqrt{2} }{2} \\&{\vec{a}}'' \cdot {\vec{b}}' =\begin{bmatrix}\frac{\sqrt{2} }{2} &\frac{\sqrt{2} }{2} \end{bmatrix}\begin{bmatrix}0 \\1 \end{bmatrix}=\frac{\sqrt{2} }{2} \end{aligned}$

4.函数内积

定义函数内积运算（实数域下）
$\left \langle f(x),g(x) \right \rangle =\int_{a}^{b} f(x)g(x)dx$
从n维向量的点积理解函数内积

在这里插入图片描述

在 $\ f(x)$ 和 $\ g(x)$ 函数曲线上选部分点作为n维向量
$\begin{aligned} \vec{f} = \begin{bmatrix}f_{1} &f_{2} &\cdots &f_{n} \end{bmatrix} \\ \vec{g} = \begin{bmatrix}g_{1} &g_{2} &\cdots &g_{n} \end{bmatrix} \end{aligned}$
对n维向量做点积，得到点积结果
$\vec{f} \cdot \vec{g} =\sum_{i=1}^{n} f_{i}g_{i} \quad (1)$
当 $\ n\to\infty$ 时，就是“函数的点积”
$\lim_{n \to \infty} \sum_{i=1}^{n} f_{i}g_{i}\quad (2)$
但此数列求和后发散，发散的数列没法计算，所以人为的对（1）式乘上 $\triangle x$ ，转为求黎曼和，也就是黎曼积分。（乘 $\triangle x$ 的原因分析见后文）
$(\sum_{i=1}^{n} f_{i}g_{i})\bigtriangleup x \quad (3)$
对（3）式的 $\ n$ 求极限:
$\lim_{n \to \infty} (\sum_{i=1}^{n} f_{i}g_{i})\bigtriangleup x =\int_{a}^{b} f(x)g(x)dx \quad (4)$
将（4）中右式的积分定义为内积的代数计算方式，并采用尖括号+逗号的书写方式代表这种运算：
$\left \langle f(x),g(x) \right \rangle =\int_{a}^{b} f(x)g(x)dx \quad (5)$

分析乘 $\triangle x$ 的根本原因

（2）式到（3）式可能会难以理解，因为按照n维向量的推广，乘积+求和就已经完成推广了，为什么要额外引入一个 $\triangle x$ ，如果直接凭空引入一个量，那这推广的内积真的是内积吗，它还具备点积的描述长度和角度的能力吗？

答案是肯定的

首先，引入 $\triangle x$ ，一定程度上是因为（2）式发散不能用，取平均，求黎曼积分之后才变得可计算。

最重要的，其实是我们的目的，如果目的达到了，采用何种形式都是可以的。

当初定义点积运算的目的是为了描述长度、角度，所以如果由（5）式定义出的内积运算具备了同时描述长度和角度的能力，那它就是正确的

我们暂且认为（5）式是成立的，思考其长度定义

点积运算带来的长度定义：
$\left | \vec{u} \right | =(\vec{u} \cdot \vec{u})^{\frac{1}{2} } =\sqrt{u_{1}^{2} + u_{2}^{2}}$
内积运算带来的长度定义：（长度被推广为范数，原有的两根竖线，变为四根）
$\left \| f(x) \right \| = \left \langle f(x),f(x) \right \rangle ^{\frac{1}{2} } =\sqrt{\int_{a}^{b} f(x)f(x)dx}$
此处推广的长度定义是符合认知的，两者结构一模一样

按照前文点积运算描述角度方式，只需得知点积结果、长度信息，即可反推出角度信息，而由（5）式定义的内积运算，有收敛的运算结果，也定义了长度的计算方式，自然可以反推出广义的角度信息，所以目的达到了，（5）式具备同时描述长度和角度的能力，它确实站得住脚。

我们人为乘上了 $\triangle x$ 再取极限（相当于乘了一个常数），看似改变了推广的内积运算结构，会影响长度信息（不影响角度信息，因为角度代表相关性，而相关性和长度、大小无关），实际不然，因为长度不是绝对的，不同空间下的长度是不同的，这是一个相对量，一个按照内积运算所定义出来的量。所以当内积运算法则改变时，长度的定义也发生了变化

乘上 $\triangle x$ 再取极限时，欧几里得空间的长度由点积运算定义，推广点积为内积运算后，欧几里得空间演变为内积空间，其长度由内积运算定义，原有的点积运算不再适用

5.由内积看傅里叶系数

以一个部分正弦展开的函数 $f (x)$ 为例，容易理解， $f (x)$ 是由基函数 $sin\frac{n\pi }{l}$ 的线性叠加组成
$f(x)=\sum_{n=1}^{\infty } A_{n} sin\frac{n\pi }{l} x$
其傅里叶系数 $A_{n}$ 为：
$A_{n}=\frac{2}{l}\int_{0}^{l} f(x)sin\frac{n\pi }{l} x\cdot dx\quad (6)$
和向量的分解完全一样，其实 $A_{n}$ 就是 $f (x)$ 在各个基函数 $sin\frac{n\pi }{l}$ 上的分量 $(分量=\frac{内积结果}{基函数的长度^{2}}=\frac{内积结果}{基函数与自己的内积})$
$\begin{aligned} A_{n} &= \frac{\left \langle f(x),sin\frac{n\pi}{l}x \right \rangle } {\left \| sin\frac{n\pi}{l}x，sin\frac{n\pi}{l}x \right \| ^2} \\ &=\frac{\left \langle f(x),sin\frac{n\pi}{l}x \right \rangle } {\left \langle sin\frac{n\pi}{l}x,sin\frac{n\pi}{l}x \right \rangle } \end{aligned}$

推导：

将 $A_{n}$ 改写为：
$A_{n}=\frac{\int_{0}^{l} f(x)sin\frac{n\pi }{l} x\cdot dx }{\frac{l}{2}}\quad (7)$
其中 $\frac{2}{l}$ 的由来：
$\begin{aligned} \frac{l}{2} &=\int_{0}^{l} sin\frac{n\pi }{l}x \cdot sin\frac{n\pi }{l}x\cdot dx \\ &=\left \| sin\frac{n\pi }{l}x,sin\frac{n\pi }{l}x \right \| ^2 \\ &=\left \langle sin\frac{n\pi }{l}x,sin\frac{n\pi }{l}x \right \rangle \quad (8) \end{aligned}$
所以 $\frac{2}{l}$ 就是基函数 $sin\frac{n\pi }{l}x$ 与自己的内积结果、长度的平方