8.2 矩阵的运算

8.2.1 矩阵的转置（transpose）

　　矩阵的转置是以对角线为轴的镜像，这条从左上角到右下角的对角线被称为主对角线（main diagonal）。转置是矩阵的重要操作之一，我们将矩阵$A$的转置表示为$A^T$，即$(A^T)_{i,j} = A_{j,i}$。比如，3x2矩阵的转置矩阵就是2x3矩阵。
　　

$$A=\begin{bmatrix} A_{1,1} & A_{1,2} \\A_{2,1} & A_{2,2} \\A_{3,1} & A_{3,2} \end{bmatrix} \Rightarrow A^T=\begin{bmatrix} A_{1,1} & A_{2,1} & A_{3,1}\\A_{1,2} & A_{2,2} & A_{3,2}\end{bmatrix}$$
　　矩阵的转置可以看成是以主对角线为轴的一个镜像。也就是说，转置矩阵是指将 $m\times n$矩阵的行和列交换后得到的 $n\times m$矩阵。
　　向量可以看作是只有一列的矩阵。对应地，向量的转置可以看作是只是一行的矩阵。有时，我们将通过向量元素作为行矩阵写在文本中，然后使用转置操作将其变为标准的列向量，来定义一个向量，比如 $x=[x_1,x_2,x_3]^T$。
　　标量可以看作是只有一个元素的矩阵。因此，标量的转置等于它本身， $a=a^T$。

8.2.2 两矩阵相加/减

　　行列值相同的矩阵才能进行求和或求差运算，其运算规则是两矩阵对应元素的相加或相减运算。只要矩阵的形状一样，我们可以把两个矩阵相加。比如$C=A+B$，其中$C_{i,j}=A_{i,j}+B_{i,j}$。

8.2.3 标量和矩阵相乘

　　标量与矩阵的积，其规则是标量与矩阵中的每个元素进行乘积运算。注意二者不能交换位置，即只能标量在前，矩阵在后。比如$D=a\cdot B+c$，其中$D_{i,j}=a\cdot B_{i,j}+c$。

8.2.4 矩阵和矩阵相乘

　　矩阵乘法是矩阵运算中最重要的操作之一。两个矩阵$A$和$B$的矩阵乘积（matrix product）是第三个矩阵$C$。为了使乘法定义良好，矩阵$A$的列数必须和矩阵$B$的行数相等。如果矩阵$A$的形状是$m \times n$，矩阵$B$的形状是$n\times p$，那么矩阵$C$的形状是$m\times p$。我们可以通过将两个或多个矩阵并列放置以书写矩阵乘法，例如

$$C=AB$$
　　具体的，该乘法操作定义为
$$C_{i,j}=\sum_kA_{i,k}B_{k,j}$$
　　需要注意的是，两个矩阵的标准乘积不是指两个矩阵中对应元素的乘积。不过，那样的矩阵操作确实是存在的，被称为元素对应乘积(element-wise product)或者Hadamard乘积(Hadamard product)，记为 $A\odot B$。
　　两个相同维数的向量 $x$和$y$的点积（dot product）可看作是矩阵乘积 $x^Ty$。我们把矩阵乘积 $C=AB$中计算 $C_{i,j}$的步骤看作是 $A$的第$i$行和 $B$的第$j$列之间的点积（dot product）。
两个相同维数向量x和y的点积可看作是矩阵乘积 x^Ty。
　　矩阵乘积运算有许多有用的性质，从而使矩阵的数学分析更加方便。比如，矩阵乘积服从分配率：
　　 $$A(B+C)=AB+AC$$
　　矩阵乘积也服从结合律：
　　 $$A(BC)=(AB)C$$
　　不同于标量乘积，矩阵乘积并不满足交换律（ $AB=BA$的情况并非总是满足）。然而，两个向量的点积满足交换律：
　　 $$x^Ty=y^Tx$$ 。
　　此外，矩阵的转置有着简单的形式：
$$(AB)^T=B^TA^T$$
　　利用向量乘积是标量，标量转置是自身的事实，我们可以证明以下公式成立：
$$x^Ty=(x^Ty)^T=y^Tx$$

8.2.5 线性方程组

　　现在我们已经知道了足够多的线性代数符号，可以表达下列线性方程组：

$$Ax=b\qquad (8.11)$$
　　其中 $A\in \mathbb R^{m\times n}$是一个已知矩阵， $b\in \mathbb R^m$是一个已知向量， $x\in \mathbb R^n$是一个我们要求解的未知向量。向量 $x$的每一个元素$x_i$都是未知的。矩阵 $A$的每一行和$b$中对应的元素构成一个约束。我们可以把式（8.11）重写为
$$\begin{align*} &A_{1,:}x =b_1 & (8.12)\\ &A_{2,:}x =b_2 & (8.13)\\ &\cdots & (8.14)\\ &A_{m,:}x=b_m & (8.15) \end{align*}$$
　　或者，更明确地，写作
$$\begin{align*} & A_{1,1}x_1+A_{1,2}x_2+\cdots A_{1,n}x_n=b_1 & \qquad(8.16)\\ & A_{2,1}x_1+A_{2,2}x_2+\cdots A_{2,n}x_n=b_2 & \qquad(8.17)\\ & \cdots & \qquad(8.18)\\ & A_{m,1}x_1+A_{m,2}x_2+\cdots A_{m,n}x_n=b_m. & \qquad(8.19) \end{align*}$$
　　矩阵向量乘积符号为这种形式的方程提供了更紧凑的表示。