机器学习之线性代数基础知识汇总补充（内积）

第一部分：数据和向量/矩阵之间的转换

数据在高维空间中通常用向量或矩阵来表示。

第二部分：乘法/投影和内积inner product之间的转换

高维向量的乘法叫做内积。

乘积得到的结果是一个数字（标量）。

第三部分：基底

在我的思想理论中，基底就是进行坐标变换所使用的向量矩阵：

就以我们常常用的二维坐标点（5,6）来说，其实它的标准二维坐标变换就是：

那么数字5在这里对应的“基底”就是（1,0）也就是竖着的第一列，也可以叫做基向量

数字6在这里对应的“基底”就是（0，1），也就是竖着的第二列，也可以叫做基向量

我们在进行数据降维和升维的时候也这么做：

比如：

也就是我们实现了升维的效果（从原来的二维坐标现在变成了三维坐标）。

这个就是实现了数据的降维，我们也可以说是映射到一维坐标轴上：

就相当于把原先黑色的这些点投影到了x轴红色的这些点上。

上述基底在机器学习中也经常用到，只不过往往加的有转置符号：

，因此原先的矩阵相乘是一行乘以一列，现在的是一行乘以一行：

而我们如果要想实现升维，那么就增大k的值，让它大于n;

如果我们想要维度不变，那就是k=n;

如果我们想要实现降维，那就是k小于n

第四部分：方差和协方差

（1）方差

（2）协方差

方差是协方差的一种（因为可以看上述表达式，如果xl=xk,那么这个就是上面的方差计算公式里面的第一个了，很相似）

（3）方差和协方差的区别

方差是衡量单一随机变量数值分散程度的度量。

协方差更多的是表示两个变量的变化趋势是否一致。也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

（4）协方差矩阵

其中对角线斜着的这一侧：

由于他们的x和y坐标一样，因此也叫做“方差”，斜线上下两边的叫做协方差。

（5）方差和协方差的实际物理含义和图像

方差的整体公式中可以看到是只有一个X，因此方差只能描述单维度的变化情况：

而我们其实想要描述的是二维的，也就是任意两个点之间的偏离程度，这个时候很显然，方差做不到，只能用协方差：

然后我们就需要对这个协方差矩阵的优劣进行评估，我们想着要让这些投影到红线上的点能够足够的分散，举例要足够的大，但是又想要让这些真实点与实际点之间的差距足够小（如图）:

就需要：

方差Var(X1)和Var(X2)最大，协方差Cov（X1，X2）为0

优化目标也就是斜线上，从大到小排列，上下两个区域的值都是0