线性代数基础总结LAN

标量（scalar）：
一个标量就是一个单独的数，它不同于线性代数中研究的其他大部分对象（通常是多个数的数组）。
向量（vector）：
一个向量是一列数。这些数是有序排列的。通过次序中的索 引，我们可以确定每个单独的数。

矩阵（matrix）：
矩阵是一个二维数组，其中的每一个元素被两个索引（而非一个）所确定。
张量（tensor）：
在某些情况下，我们会讨论坐标超过两维的数组。一般地，一个数组中的元素分布在若干维坐标的规则网格中，
我们称之为张量。
转置（transpose）：
是矩阵的重要操作之一。矩阵的转置是以对角线为轴的镜像，这条从左上角到右下角的对角线被称为 主对角线（main diagonal）。

向量可以看作只有一列的矩阵。对应地，向量的转置可以看作是只有一行的矩阵。
有时，我们通过将向量元素作为行矩阵写在文本行中，然后使用转置操作将其变为标准的列向量，来定义一个向量，
比如：

标量可以看作是只有一个元素的矩阵。因此，标量的转置等于它本身，

逆矩阵：






范数：
范数（包括 Lp 范数）是将向量映射到非负值的函数。直观上来说，向量 x 的范数衡量从原点到点 x 的距离。




对角矩阵：
对角矩阵（diagonal matrix）只在主对角线上含有非零元素，其他位置都是零。
我们用 diag(v) 表示一个对角元素由向量 v 中元素给定的对角方阵。
向量v = {1,2,3,4,5,6},则diag(v) 表示对角线上元素为1，2，3，4，5，6的对角矩阵。
对角矩阵受到关注的部分原因是对角矩阵的乘法计算很高效。
计算乘法 diag(v)x，我们只需要将 x 中的每个元素 xi 放大 vi 倍。
计算对角方阵的逆矩阵也很高效。
对角方阵的逆矩阵存在，
当且仅当对角元素都是非零值，在这种情况下，

对称矩阵：
对称（symmetric）矩阵是转置和自己相等的矩阵：


单位向量：
单位向量（unit vector）是具有 单位范数（unit norm）的向量：

正交 和 标准正交：

正交矩阵：
正交矩阵（orthogonal matrix）是指行向量和列向量是分别标准正交的方阵：

特征分解：

特征分解（eigendecomposition）是使用最广的矩阵分解之一，即我们将矩阵分解成一组特征向量和特征值。
方阵 A 的 特征向量（eigenvector）是指与 A 相乘后相当于对该向量进行缩放的非零向量 v：

标量 λ 被称为这个特征向量对应的 特征值（eigenvalue）。





奇异值分解：
通过奇异值分解，我们会得到一些与特征分解相同类型的信息。然而，奇异值分解有更广泛的应用。每个实数矩阵都有一个奇异值分解，但不一定都有特征分解。例如，非方阵的矩阵没有特征分解，这时我们只能使用奇异值分解。



迹运算：
迹运算返回的是矩阵对角元素的和：

迹运算因为很多原因而有用。若不使用求和符号，有些矩阵运算很难描述，而通过矩
阵乘法和迹运算符号可以清楚地表示。例如，迹运算提供了另一种描述矩阵Frobenius
范数的方式：

用迹运算表示表达式，我们可以使用很多有用的等式巧妙地处理表达式。例如，
迹运算在转置运算下是不变的：

多个矩阵相乘得到的方阵的迹，和将这些矩阵中的最后一个挪到最前面之后相
乘的迹是相同的。当然，我们需要考虑挪动之后矩阵乘积依然定义良好：


行列式：
行列式，记作 det(A)，是一个将方阵 A 映射到实数的函数。
行列式等于矩阵特征值的乘积。
行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或者缩小了多少。
如果行列式是 0，那么空间至少沿着某一维完全收缩了，使其失去了所有的体积。
如果行列式是 1，那么这个转换保持空间体积不变。
主成分分析PCA：
主成分分析（principal components analysis, PCA）是一个简单的机器学习算
法，可以通过基础的线性代数知识推导。