有些特殊类型的矩阵和向量是有特别用处的。
对角矩阵(diagonal matrix)只在主对角线上含有非零元素,其他位置都是零。形式上,矩阵
D
是对角矩阵,当且仅当对于所有的
diag(v)−1=diag([1/v1,…,1/vn]T)
在很多情况下,我们可以根据任意矩阵导出一些通用的机器学习算法;但通过将一些矩阵限制为对角矩阵,我们可以得到计算代价较低的算法。
不是所有的对角矩阵都是方阵。长方形的矩阵也有可能是对角矩阵。非方阵的对角矩阵没有逆矩阵,但我们仍然可以高效地计算它们的乘积。对于一个长方形对角矩阵 D 而言,乘法
对称(symmetric)矩阵是转置和自己相等的矩阵:
当某些不依赖参数顺序的双参数函数生成元素时,对称矩阵经常会出现。例如,如果 A 是一个距离度量矩阵,
单位向量(unit vector)是具有 单位范数(unit norm)的向量:
||x||2=1
如果 xTy=0 ,那么向量 x 和向量
正交矩阵(orthonormal matrix)是指行向量和列向量是分别标准正交的方阵:
这意味着
A−1=AT
所以正交矩阵受到关注是因为求逆计算代价小。我们需要注意正交矩阵的定义。反直觉地,正交矩阵的行向量不仅是正交的,还是标准正交的。对于行向量或列向量互相正交但不是标准正交的矩阵没有对应的专有术语。