机器学习中的线性代数

向量

有时需要索引向量中的一些元素。在这种情况下，定义一个包含这些元素索引的集合，然后将该集合写在脚标处。比如，指定、 和，定义集合S={1,3,6},然后写作。用符号-表示集合的补集中的索引。比如表示x中除外的所有元素，表示x中除、 、外所有元素构成的向量。

广播

允许矩阵和向量相加，产生另一个矩阵：C=A+b，其中Cij=Aij+bj。也就是给矩阵A的每一行都加上向量b。那么这至少要求矩阵的列数和向量的元素个数对齐。 这种隐式的复制向量b到很多位置的办法，叫做广播（broadcasting）。

Hadamard乘积（元素对应乘积）

两个矩阵中对应元素的乘积，记为A⊙B

对角矩阵

对角矩阵（diagonal matrix）只在主对角线上含有非零元素，其他位置都是零。用diag(v)表示对角元素有向量v中元素给定的一个对角方阵。

计算乘法diag(v)x，只需要把x中的每个元素xi放大vi倍。

计算对角矩阵的逆矩阵：对角矩阵的逆矩阵存在当且仅当对角元素都是非零值，=diag()。

并非所有对角矩阵都是方阵。长方形的矩阵也有可能是对角矩阵。对于长方形对角矩阵D而言，乘法Dx会涉及x中每个元素的缩放，如果D是瘦长型矩阵，那么在缩放后的末尾添加一些零，如果D是胖宽型矩阵，那么在缩放后去掉一些元素。

正交矩阵

正交矩阵（orthogonal matrix）指行向量和列向量是分别标准正交的方阵，即：

A=A=I

这意味着=

特征分解

方阵A 的特征向量（eigenvector）是指与A 相乘后相当于对该向量进行缩放的非零向量v：
Av = λv
标量λ被称为这个特征向量对应的特征值（eigenvalue）。（类似地，我们也可以定义左特征向量（left eigenvector） A = λ ，但是通常我们更关注右特征向量（right eigenvector））。
如果v 是A 的特征向量，那么任何缩放后的向量sv (s ∈ R，s ≠ 0) 也是A 的特征向量。此外，sv 和v 有相同的特征值。基于这个原因，通常我们只考虑单位特征向量。

不是每一个矩阵都可以分解成特征值和特征向量。在某些情况下，特征分解存在，但是会涉及复数而非实数。

因为Q 是正交矩阵，我们可以将A 看作沿特征向量方向v(i)延展i 倍的空间。

虽然任意一个实对称矩阵A 都有特征分解，但是特征分解可能并不唯一。如果 两个或多个特征向量拥有相同的特征值，那么在由这些特征向量产生的生成子空间 中，任意一组正交向量都是该特征值对应的特征向量。因此，我们可以等价地从这 些特征向量中构成Q 作为替代。按照惯例，我们通常按降序排列的元素。在该 约定下，特征分解唯一当且仅当所有的特征值都是唯一的