标量，向量，矩阵与张量

张量这一概念的核心在于，它是一个数据容器。

2.2.1　标量（0D 张量）
仅包含一个数字的张量叫作标量（scalar，也叫标量张量、零维张量、0D 张量）。

2.2.2　向量（1D 张量）
数字组成的数组叫作向量（vector）或一维张量（1D 张量）。一维张量只有一个轴

2.2.3　矩阵（2D 张量）
向量组成的数组叫作矩阵（matrix）或二维张量（2D 张量）。矩阵有 2 个轴（通常叫作行和 列）。你可以将矩阵直观地理解为数字组成的矩形网格。下

2.2.4 3D 张量与更高维张量
将多个矩阵组合成一个新的数组，可以得到一个 3D 张量，你可以将其直观地理解为数字
组成的立方体。

2.2.5　关键属性
张量是由以下三个关键属性来定义的。
‰ 轴的个数（阶）。例如，3D 张量有 3 个轴，矩阵有 2 个轴。这在 Numpy 等 Python 库中
也叫张量的 ndim。 ‰ 形状。这是一个整数元组，表示张量沿每个轴的维度大小（元素个数）。例如，前面矩
阵示例的形状为 (3, 5)，3D 张量示例的形状为 (3, 3, 5)。向量的形状只包含一个
元素，比如 (5,)，而标量的形状为空，即 ()。 ‰ 数据类型（在 Python 库中通常叫作 dtype）。这是张量中所包含数据的类型，例如，张
量的类型可以是 float32、uint8、float64 等。

2.2.11　图像数据
图像通常具有三个维度：高度、宽度和颜色深度。虽然灰度图像（比如 MNIST 数字图像）
只有一个颜色通道，因此可以保存在 2D 张量中，但按照惯例，图像张量始终都是 3D 张量，灰
度图像的彩色通道只有一维。因此，如果图像大小为 256×256，那么 128 张灰度图像组成的批
量可以保存在一个形状为 (128, 256, 256, 1) 的张量中，而 128 张彩色图像组成的批量则
153726489
2.3　神经网络的“齿轮”：张量运算　　29
可以保存在一个形状为 (128, 256, 256, 3) 的张量中

2.2.12　视频数据
视频数据是现实生活中需要用到 5D 张量的少数数据类型之一。视频可以看作一系列帧，
每一帧都是一张彩色图像。由于每一帧都可以保存在一个形状为 (height, width, color_
depth) 的 3D 张量中，因此一系列帧可以保存在一个形状为 (frames, height, width,
color_depth) 的 4D 张量中，而不同视频组成的批量则可以保存在一个 5D 张量中，其形状为
(samples, frames, height, width, color_depth)。
举个例子，一个以每秒 4 帧采样的 60 秒 YouTube 视频片段，视频尺寸为 144×256，这个
视频共有 240 帧。4 个这样的视频片段组成的批量将保存在形状为 (4, 240, 144, 256, 3)
的张量中。总共有 106 168 320 个值！如果张量的数据类型（dtype）是 float32，每个值都是
32 位，那么这个张量共有 405MB。好大！你在现实生活中遇到的视频要小得多，因为它们不以
float32 格式存储，而且通常被大大压缩，比如 MPEG 格式