内积与相关

内积与相关

内积可以简单的理解为两个函数的线性相似程度，内积值越大表示两个函数线性相似程度越大，内积为零表示完全不线性相似。而矩阵的转置运算，其实就是为了算内积而出现的。

内积和向量的夹角有着密切的联系。如果两个向量是共线的，那么它们的夹角就是$0°$或者$180°$。此时向量夹角余弦的绝对值就是1。反过来，通过计算向量之间的夹角余弦值，我们就能判断它们之间线性关系的强弱。

$$cos\theta =\frac{<x,y>}{||x||\times ||y||}$$

因为现实中一般出现都是类似$y=kx+b$的这种关系，这就给上式的应用带来了麻烦，为了呈现线性关系我们需要的是$y=kx$的形式，比如这个问题：

我们现在有两个有序的包含5个元素的向量$x,y$：

$$x=\left[\begin{array}{c}1\\ 2\\ 3\\ 5\\ 8\end{array}\right],y=\left[\begin{array}{c}0.11\\ 0.12\\ 0.13\\ 0.15\\ 0.18\end{array}\right]$$

使用一般的方法来计算$cos\theta =0.9208$。而这些数据实际上是故意选择了一个完美的线性关系：$y=0.01x+0.10$。

怎么办呢？为了解决这个问题，我们把数据居中（$x$中数据减去$E(x)=3.8$，$y$中数据减去$E(y)=0.138$）后得到:

$$x=\left[\begin{array}{c}-2.8\\ -1.8\\ -0.8\\ 1.2\\ 4.2\end{array}\right],y=\left[\begin{array}{c}-0.028\\ -0.018\\ -0.008\\ 0.012\\ 0.042\end{array}\right]$$

由此得到了预期的结果：$cos\theta =1$。写出来公式就是：

$$cos\theta =\frac{\sum (x_i-\bar{x})\times (y_i-\bar{y})}{\sqrt{\sum (x_i-\bar{x}{)}^2}\times \sqrt{\sum (y_i-\bar{y}{)}^2}}$$
$$=\frac{cov(x,y)}{\sqrt{D(x)}\times \sqrt{D(y)}}$$

$$cov(x,y)=\frac{\sum (x_i-\bar{x})\times (y_i-\bar{y})}{n}$$

$$D(x)=\frac{\sum (x_i-\bar{x}{)}^2}{n}$$

这就是概率论中的皮尔逊相关系数。其实高等数学、概率论与数理统计、线性代数都是相通的而我们却把这些课程割裂了。