机器学习中的数学——矩阵和向量相乘

分类目录：《算法设计与分析》总目录

---

矩阵乘法是矩阵运算中最重要的操作之一。两个矩阵$A$和$B$的矩阵乘积是第三个矩阵$C$。为了使乘法定义良好，矩阵$A$的列数必须和矩阵$B$的行数相等。如果矩阵$A$的形状是$m\times n$，矩阵$B$的形状是$n\times p$，那么矩阵$C$的形状是$m\times p$。我们可以通过将两个或多个矩阵并列放置以书写矩阵乘法：
$$C=AB$$
具体地，该乘法操作定义为：
$$C_{i,j}=\sum _k{A}_{i,k}\times B_{k,j}$$

需要注意的是，两个矩阵的标准乘积不是指两个矩阵中对应元素的乘积。不过，那样的矩阵操作确实是存在的，被称为元素对应乘积或者Hadamard乘积，记为$A\odot B$。

两个相同维数的向量$x$和$y$的点积可看作是矩阵乘积$x^{T}y$。我们可以把矩阵乘积$C=AB$中计算$C_{i,j}$的步骤看作是$A$的第$i$行和$B$的第$j$列之间的点积。

矩阵乘积运算有许多有用的性质，从而使矩阵的数学分析更加方便。比如，矩阵乘积服从分配律：
$$A(B+C)=AB+AC$$

矩阵乘积也服从结合律：
$$A(BC)=(AB)C$$

不同于标量乘积，矩阵乘积并不满足交换律。然而，两个向量的点积满足交换律：
$$x^{T}y=y^{T}x$$