机器学习中的标量、向量、矩阵、和张量的概念

在线性代数中，我们必须掌握几个核心概念：标量、向量、矩阵和张量，它们是构成线性代数学科的基石。

• 标量 (Scalar)

标量其实就是一个独立存在的数，比如在线性代数中一个实数 5 就可以被看作一个标量，所以标量的运算相对简单，与我们平常做的数字算术运算类似。

• 向量 (Vector)

向量指一列按顺序排列的元素，我们通常习惯用括号将这一列元素括起来，其中的每个元素都由一个索引值来唯一地确定其在向量中的位置，假设这个向量中的第 1 个元素是 x1 , 它的索引值就是 1，第 2 个元素是 x2 , 它的索引值就是 2，以此类推。如下所示就是一个由三个元素组成的向量，这个向量的索引值从 1 到 3 分别对应了从 x1 到 x3 的这三个元素:

• 矩阵 (Matrix)

矩阵就是一个二维数组结构，我们会用括号将其中的全部元素括起来。向量的索引值是一维的，而矩阵的索引值是二维的，所以在确定矩阵中每个元素的位置时需要两个数字。

举例来，假设在一个矩阵的左上角存在一个元素 x11 ,那么确定这个元素的索引值就是由两个 1 构成的二维索引值，即“11”, 这个二维索引值代表矩阵中第1行和第1列交汇处的数字，所以前面的一个数字 1 可以被定义为当前矩阵的行号，后面的一个数字 1 可以被定义为当前矩阵的列号。如下就是一个三行两列的矩阵:

• 张量 (Tensor)

若数组的维度超过了二维，我们就可以用张量来表示，所以我们可以将张量理解为高维数组。同理，张量的索引值用两个维度的数字来表示已经不够了，其中的元素的索引值会随着张量维度的改变而改变。