向量和矩阵概念

矩阵

矩阵的几何意义是坐标的变换。

如果一个矩阵存在特征向量和特征值，那么这个矩阵的特征向量就表示了它在空间中最主要的运动方向。

矩阵由多个长度相等的向量组成，其中的每列或者每行就是一个向量。因此，我们把向量延伸一下就能得到矩阵（Matrix）。
向量其实也是一种特殊的矩阵。如果一个矩阵是 n × m 维，那么一个 n × 1 的矩阵也可以称作一个 n 维列向量；而一个 1 × m 矩阵也称为一个 m 维行向量。

从数据结构的角度看，向量是一维数组，那矩阵就是一个二维数组。如果二维数组里绝大多数元素都是 0 或者不存在的值，那么我们就称这个矩阵很稀疏（Sparse）。对于稀疏矩阵，我们可以使用哈希表的链地址法来表示。所以，矩阵中的每个元素有两个索引。

矩阵加法

只要保证参与操作的两个矩阵具有相同的行维度和列维度，我们就可以把对应的元素两两相加。

矩阵乘法

矩阵的乘法默认为左矩阵的行向量和右矩阵的列向量两两点乘。

矩阵 Z 为矩阵 X 和 Y 的乘积，X 是形状为 i x k 的矩阵，而 Y 是形状为 k × j 的矩阵。X 的列数 k 必须和 Y 的行数 k 相等，两者才可以进行这样的乘法。

可以把这个过程看作矩阵 X 的行向量和矩阵 Y 的列向量两两进行点乘。

两个矩阵中对应元素进行相乘，这种操作也是存在的，我们称它为元素对应乘积，或者 Hadamard 乘积。

矩阵转置

转置（Transposition）是指矩阵内的元素行索引和纵索引互换，例如 Xij​ 就变为 Xji​，相应的，矩阵的形状由转置前的 n × m 变为转置后的 m × n。
从几何的角度来说，矩阵的转置就是原矩阵以对角线为轴进行翻转后的结果。

单位矩阵

单位矩阵中，所有沿主对角线的元素都是 1，而其他位置的所有元素都是 0。
通常我们只考虑单位矩阵为方阵的情况，也就是行数和列数相等，我们把它记做 In​，n 表示维数。

逆矩阵或矩阵逆（Matrix Inversion）

有矩阵 X，我们把它的逆矩阵记做 X−1，两者相乘的结果是单位矩阵。

向量空间

几个特性

• 空间由无穷多个的位置点组成；
• 这些点之间存在相对的关系；
• 可以在空间中定义任意两点之间的长度，以及任意两个向量之间的角度；
• 这个空间的点可以进行移动。

向量加法：

有两个向量 x 和 y，它们的长度分别是 x’和 y’，它们的相加结果是 x+y，这个结果所对应的点相当于 x 向量沿着 y 向量的方向移动 y’，或者是 y 向量沿着 x 向量的方向移动 x’。

向量乘法

点乘的作用是把相乘的两个向量转换成了标量,用点乘来计算向量的长度以及两个向量间的夹角。
信息检索和机器学习等领域充分利用了向量空间模型，计算不同对象之间的相似程度。