矩阵篇（三）-- 矩阵的普通乘积、Hadamard 积、Kronecker 积及其性质

1 普通乘积（matmul product）

        若 $AA$ 是 $m\times n$ 矩阵，$BB$ 是 $n\times p$ 矩阵，$BB$ 的列是 $b_1{b}_1,\cdots ,b_p{b}_p$，则乘积 $ABAB$ 是 $m\times p$ 矩阵，它的各列是 $A{b}_{1}A{b}_1,\cdots ,A{b}_{p}A{b}_p$，即
$$ABAB=AA[b_1{b}_1{b}_2{b}_2\cdots b_p{b}_p]=[A{b}_{1}A{b}_{1}A{b}_{2}A{b}_2\cdots A{b}_{p}A{b}_p]$$
        提示： 线性变换可以用矩阵来表示，而矩阵乘法对应线性变换的复合。
计算 $ABAB$ 的行列法则
        若乘积 $ABAB$ 有定义，$ABAB$ 的第 $i$ 行第 $j$ 列的元素是 $AA$ 的第 $i$行与 $BB$ 的第 $j$ 列对应元素乘积之和。若 $(ABAB{)}_{ij}$ 表示 $ABAB$ 的 $(i,j)$ 元素，$AA$ 为 $m\times n$ 矩阵，则
$$(ABAB{)}_{ij}=\sum _{k=1}^n{a}_{ik}{b}_{kj}=a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{in}{b}_{nj}$$

        下面用图片做演示：

1. 基本性质

• 乘法结合律：$(ABAB)CC=AA(BCBC)$。
• 乘法左分配律：$(AA+BB)CC=ACAC+BCBC$。
• 乘法右分配律：$CC(AA+BB)=CACA+CBCB$。
• 对数乘的结合性：$k(ABAB）=(kAA)BB=AA(kBB)$。
• 转置：$(ABAB{)}^T={BB}^T{AA}^T$。

        矩阵乘法一般不满足交换律(除了有些特殊的方阵之间的乘法）。

        满足乘法交换律的方阵称为可交换矩阵，即矩阵 $AA，BB$ 满足：$ABAB=BABA$。有以下几种情况：

                (1) 设 $AA，BB$ 至少有一个为零矩阵，则 $AA，BB$ 可交换;

                (2) 设 $AA，BB$ 至少有一个为单位矩阵，则 $AA，BB$ 可交换;

                (3) 设 $AA，BB$ 至少有一个为数量矩阵，则 $AA，BB$ 可交换;

                (4) 设 $AA，BB$ 均为对角矩阵，则 $AA，BB$ 可交换;

                (5) 设 $AA，BB$ 均为准对角矩阵（准对角矩阵是分块矩阵概念下的一种矩阵。即除去主对角线上分块矩阵不为零矩阵外，其余分块矩阵均为零矩阵），且对角线上的子块均可交换，则 $AA，BB$ 可交换;

---

2 哈达玛积（Hadamard product）

        Hadamard乘积 是矩阵的一类运算，对形状相同的矩阵进行运算，并产生相同维度的第三个矩阵。在数学中，Hadamard乘积（也称为 Schur乘积或逐元素乘积）是一种二元运算，它用两个具有相同维数的矩阵产生另一个具有相同维数的矩阵，其中每个元素 $(i,j)$ 是原始两个矩阵的元素 $(i,j)$ 的乘积。它是由法国数学家雅克·哈达玛（Jacques Hadamard）或德国数学家Issai Schur命名的。

        两个同阶的 $m\times n$ 矩阵 $AA=[a_{ij}]$ 与矩阵 $BB=[b_{ij}]$ 的Hadamard积，记为 $AA\odot BB$。新矩阵元素定义为矩阵 $AA、BB$ 对应元素的乘积，即
$$(AA\odot BB{)}_{ij}=a_{ij}\ast b_{ij}$$

1. 与正定性有关的性质

（1）正定性的传递性
        如果 $m\times m$ 维矩阵 $\mathbf{A},\mathbf{B}$ 是正定的（半正定）的，则他们的Hadamard积也是正定（半正定的）。
（2）正定性的反推（Fejer定理）
        我们可反推 $m\times m$ 矩阵 $\mathbf{A}$ 是半正定矩阵，当且仅当
$$\sum _{i=1}^m\sum _{j=1}^m{a}_{ij}{b}_{ij}⩾0$$
        对所有 $m\times m$ 半正定矩阵 $\mathbf{B}$ 成立。

2. 与矩阵迹有关的性质
定理一
        令 $\mathbf{A},\mathbf{B},\mathbf{C}$ 为 $m\times n$ 矩阵，并且 $1=[1,1,\cdots ,1{]}^{\mathrm{T}}$ 为 $n\times 1$ 求和向量，$\mathbf{D}=\mathrm{diag}(d_1,d_2,\cdots ,d_m)$，其中，$d_i={\sum }_{j=1}^n{a}_{ij}$，则
$$\begin{gathered} \mathrm{tr}\left({\mathbf{A}}^{\mathrm{T}}(\mathbf{B}\odot \mathbf{C})\right)=\mathrm{tr}\left(\left({\mathbf{A}}^{\mathrm{T}}\odot {\mathbf{B}}^{\mathbf{T}}\right)\mathbf{C}\right) \\ {1}^{\mathbf{T}}{\mathbf{A}}^{\mathrm{T}}(\mathbf{B}\odot \mathbf{C})1=\mathrm{tr}\left({\mathbf{B}}^{\mathrm{T}}\mathbf{D}\mathbf{C}\right) \end{gathered}$$

证明：
$$\begin{gathered} {\left[{\mathbf{A}}^{\mathrm{T}}(\mathbf{B}\odot \mathbf{C})\right]}_{ii}=\sum _h{a}_{hi}{b}_{hi}{c}_{hi}={\left[\left({\mathbf{A}}^{\mathrm{T}}\odot {\mathbf{B}}^{\mathbf{T}}\right)\mathbf{C}\right]}_{ii} \\ {1}^{\mathbf{T}}{\mathbf{A}}^{\mathrm{T}}(\mathbf{B}\odot \mathbf{C})1=\sum _{i,j,k}{a}_{ki}{b}_{kj}{c}_{kj}=\sum _{j,k}{d}_k{b}_{kj}{c}_{kj}=\mathrm{tr}\left({\mathbf{B}}^{\mathrm{T}}\mathbf{D}\mathbf{C}\right) \end{gathered}$$

定理二
        令 $\mathbf{A},\mathbf{B}$ 为 $n\times n$ 方阵，并且 $1=[1,1,\cdots ,1{]}^{\mathrm{T}}$ 为 $n\times 1$ 求和向量。假定 $\mathbf{M}$ 是一个 $n\times n$ 对角矩阵$\mathbf{M}=\mathrm{diag}({\mu }_1,{\mu }_2,\cdots ,{\mu }_m)$，$\mathbf{m}=\mathbf{M}1$ 为 $n\times 1$ 向量，则有：
$$\begin{array}{rl}\mathrm{tr}\left(\mathbf{A}\mathbf{M}{\mathbf{B}}^{\mathrm{T}}\mathbf{M}\right)& ={\mathbf{m}}^{\mathrm{T}}(\mathbf{A}\odot \mathbf{B})\mathbf{m}\\ \mathrm{tr}\left(\mathbf{A}{\mathbf{B}}^{\mathrm{T}}\right)& =1^{\mathrm{T}}(\mathbf{A}\odot \mathbf{B})1\\ \mathbf{M}\mathbf{A}\odot {\mathbf{B}}^{\mathrm{T}}\mathbf{M}& =\mathbf{M}\left(\mathbf{A}\odot {\mathbf{B}}^{\mathrm{T}}\right)\mathbf{M}\end{array}$$

3. 一般性质
（1）若 $AA,BB$ 均为 $m\times n$ 矩阵，则
$$\begin{array}{rl}\mathbf{A}\odot \mathbf{B}& =\mathbf{B}\odot \mathbf{A}\\ (\mathbf{A}\odot \mathbf{B}{)}^{\mathrm{T}}& ={\mathbf{A}}^{\mathrm{T}}\odot {\mathbf{B}}^{\mathrm{T}}\\ (\mathbf{A}\odot \mathbf{B}{)}^{\mathrm{H}}& ={\mathbf{A}}^{\mathrm{H}}\odot {\mathbf{B}}^{\mathrm{H}}\\ (\mathbf{A}\odot \mathbf{B}{)}^{\ast }& ={\mathbf{A}}^{\ast }\odot {\mathbf{B}}^{\ast }\end{array}$$
（2）任意矩阵与零矩阵的Hadamard积： $\mathbf{A}\odot {\mathbf{O}}_{m\times n}={\mathbf{O}}_{m\times n}\odot \mathbf{A}={\mathbf{O}}_{m\times n}$
​（3）若 $c$ 为常数，则 $c(\mathbf{A}\odot \mathbf{B})=(c\mathbf{A})\odot \mathbf{B}=\mathbf{A}\odot (\mathbf{c}\mathbf{B})$
（4）正定（或半正定）矩阵 $\mathbf{A},\mathbf{B}$ 的Hadamard积 $\mathbf{A}\odot \mathbf{B}$ 也是正定（或半正定的）。
（5）矩阵 ${\mathbf{A}}_{m\times m}=\left[a_{ij}\right]$ 与单位矩阵 ${\mathbf{I}}_m$ 的Hadamard积为 $m\times m$ 对角矩阵，即：
$$\mathbf{A}\odot {\mathbf{I}}_m={\mathbf{I}}_m\odot \mathbf{A}=\mathrm{diag}(\mathbf{A})=\mathrm{diag}\left(a_{11},a_{22},\cdots ,a_{mm}\right)$$
（6）若 $\mathbf{A},\mathbf{B},\mathbf{C},\mathbf{D}$ 均为 $m\times n$ 矩阵，则
$$\begin{array}{rl}\mathbf{A}\odot (\mathbf{B}\odot \mathbf{C})& =(\mathbf{A}\odot \mathbf{B})\odot \mathbf{C}=\mathbf{A}\odot \mathbf{B}\odot \mathbf{C}\\ (\mathbf{A}\pm \mathbf{B})\odot \mathbf{C}& =\mathbf{A}\odot \mathbf{C}\pm \mathbf{B}\odot \mathbf{C}\\ (\mathbf{A}+\mathbf{B})\odot (\mathbf{C}+\mathbf{D})& =\mathbf{A}\odot \mathbf{C}+\mathbf{A}\odot \mathbf{D}+\mathbf{B}\odot \mathbf{C}+\mathbf{B}\odot \mathbf{D}\end{array}$$
（7）若 $\mathbf{A},\mathbf{B},\mathbf{D}$ 为 $m\times m$ 矩阵，且$\mathbf{D}$ 为对角矩阵，则
$$(\mathbf{D}\mathbf{A})\odot (\mathbf{B}\mathbf{D})=\mathbf{D}(\mathbf{A}\odot \mathbf{B})\mathbf{D}$$
（8）若 $\mathbf{A},\mathbf{C}$ 为 $m\times m$ 矩阵，且$\mathbf{B},\mathbf{D}$ 为 $n\times n$ 矩阵。则
$$(\mathbf{A}\oplus \mathbf{B})\odot (\mathbf{C}\oplus \mathbf{D})=(\mathbf{A}\odot \mathbf{C})\oplus (\mathbf{B}\odot \mathbf{D})$$
（9）若 $\mathbf{A},\mathbf{B},\mathbf{C}$ 为 $m\times n$ 矩阵，则
$$\mathrm{tr}\left({\mathbf{A}}^{\mathrm{T}}(\mathbf{B}\odot \mathbf{C})\right)=\mathrm{tr}\left(\left({\mathbf{A}}^{\mathrm{T}}\odot {\mathbf{B}}^{\mathrm{T}}\right)\mathbf{C}\right)$$

4. Hadamard积满足的不等式
（1）Oppenheim不等式：令 $\mathbf{A}$ 与 $\mathbf{B}$ 是 $n\times n$ 半正定矩阵，则
$$|\mathbf{A}\odot \mathbf{B}|⩾a_{11}\cdots a_{nn}|\mathbf{B}|$$
        若 $\mathbf{B}={\mathbf{I}}_n$，且 $\mathbf{A}$ 为 $n\times n$ 半正定矩阵，则有Hadamard不等式：
$$|\mathbf{A}|\le a_{11}\cdots a_{nn}$$
        这是因为 $|\mathbf{A}|=b_{11}\cdots b_{nn}|\mathbf{A}|⩽\left|{\mathbf{I}}_n\odot \mathbf{A}\right|$ 而 ${\mathbf{I}}_n\odot \mathbf{A}=\mathrm{diag}\left(a_{11},\cdots ,a_{nn}\right)$，故而有 $|\mathbf{A}|\le a_{11}\cdots a_{nn}$。

（2）令 $\mathbf{A}$ 与 $\mathbf{B}$ 是 $n\times n$ 半正定矩阵，则 $|\mathbf{A}\odot \mathbf{B}|⩾|\mathbf{A}\mathbf{B}|$
$$|\mathbf{A}\odot \mathbf{B}|⩾|\mathbf{A}\mathbf{B}|$$
（3）特征值不等式：令 $\mathbf{A}$ 与 $\mathbf{B}$ 是 $n\times n$ 半正定矩阵，${\lambda }_1,\cdots ,{\lambda }_n$ 是Hadamard积 $\mathbf{A}\odot \mathbf{B}$ 的特征值，而 ${\hat{\lambda }}_1,\cdots ,{\hat{\lambda }}_n$ 是矩阵乘积$\mathbf{A}\mathbf{B}$ 的特征值，则
$$\prod _{i=k}^n{\lambda }_i⩾\prod _{i=k}^n{\hat{\lambda }}_i,k=1,\cdots ,n$$

（4）Hadamard积的秩不等式：令 $\mathbf{A}$ 与 $\mathbf{B}$ 是 $n\times n$ 矩阵，则
$$\mathrm{rank}(\mathbf{A}\odot \mathbf{B})⩽\mathrm{rank}(\mathbf{A})\mathrm{rank}(\mathbf{B})$$

---

3 克罗内克积（Kronecker Product）

        Kronecker 积 是两个任意大小矩阵间的运算，表示为 $AA\otimes BB$。如果 $AA$ 是一个 $m\times n$ 的矩阵，而 $BB$ 是一个 $p\times q$ 的矩阵，克罗内克积则是一个 $mp\times nq$ 的分块矩阵。克罗内克积也称为直积或张量积，以德国数学家利奥波德·克罗内克命名。计算过程如下：
$$AA\otimes BB=[a_{ij}BB{]}_{i=1,j=1}^{m,n}=\left[\begin{array}{ccc}{a}_{11}BB& \cdots & a_{1n}BB\\ ⋮& \ddots & ⋮\\ a_{m1}BB& \cdots & a_{mn}BB\end{array}\right]$$
        更具体地可表示为：
$$AA\otimes BB=\left[\begin{array}{cccccccccc}{a}_{11}{b}_{11}& a_{11}{b}_{12}& \cdots & a_{11}{b}_{1q}& \cdots & \cdots & a_{1n}{b}_{11}& a_{1n}{b}_{12}& \cdots & a_{1n}{b}_{1q}\\ a_{11}{b}_{21}& a_{11}{b}_{22}& \cdots & a_{11}{b}_{2q}& \cdots & \cdots & a_{1n}{b}_{21}& a_{1n}{b}_{22}& \cdots & a_{1n}{b}_{2q}\\ ⋮& ⋮& \ddots & ⋮& & & ⋮& ⋮& \ddots & ⋮\\ a_{11}{b}_{p1}& a_{11}{b}_{p2}& \cdots & a_{11}{b}_{pq}& \cdots & \cdots & a_{1n}{b}_{p1}& a_{1n}{b}_{p2}& \cdots & a_{1n}{b}_{pq}\\ ⋮& ⋮& & ⋮& \ddots & & ⋮& ⋮& & ⋮\\ ⋮& ⋮& & ⋮& & \ddots & ⋮& ⋮& & ⋮\\ a_{m1}{b}_{11}& a_{m1}{b}_{12}& \cdots & a_{m1}{b}_{1q}& \cdots & \cdots & a_{mn}{b}_{11}& a_{mn}{b}_{12}& \cdots & a_{mn}{b}_{1q}\\ a_{m1}{b}_{21}& a_{m1}{b}_{22}& \cdots & a_{m1}{b}_{2q}& \cdots & \cdots & a_{mn}{b}_{21}& a_{mn}{b}_{22}& \cdots & a_{mn}{b}_{2q}\\ ⋮& ⋮& \ddots & ⋮& & & ⋮& ⋮& \ddots & ⋮\\ a_{m1}{b}_{p1}& a_{m1}{b}_{p2}& \cdots & a_{m1}{b}_{pq}& \cdots & \cdots & a_{mn}{b}_{p1}& a_{mn}{b}_{p2}& \cdots & a_{mn}{b}_{pq}\end{array}\right]$$

Kronecker积也称直积(direct product)或者张量积(tensor product)。两个向量的外积$xx\circ yy=xx{yy}^T$也可以用Kornecker积表示为：
$$xx\circ yy=xx\otimes {yy}^T$$

        提示： 一个列向量乘以一个行向量称作向量的外积，而外积是一种特殊的克罗内克积，结果是一个矩阵，即两个向量的克罗内克积可以看作事这两个向量外积向量化(vectorization)的结果。
$$xx\otimes yy=vec(xx\circ yy)=vec(xx{yy}^T)$$

Kronecker积的性质：
                （1）对于矩阵 ${AA}^{m\times n}$ 和 ${BB}^{p\times q}$，一般有 $AA\otimes BB\ne BB\otimes AA$。
                （2）任意矩阵与零矩阵的Kronecker积等于零矩阵，即 $AA\otimes OO=OO\otimes AA=OO$。
                （3）若 $\alpha$ 和 $\beta$ 为常数，则 $\alpha AA\otimes \beta BB=\alpha \beta (AA\otimes BB)$。
                （4）$m$ 维与 $n$ 维两个单位矩阵的Kronecker积为 $mn$ 维单位矩阵，即 ${II}_m\otimes {II}_n={II}_{mn}$。

        以上性质部分借鉴自——张贤达《矩阵分析与应用》第二版中的Hadamard积和Kronecker积部分。

---

4 Python 实现

from numpy import array, array_equal, kron

A = array([[3, 1], [1, 3]])

B = array([[5, -1], [-1, 5]])

H = array([[15, -1], [-1, 15]])

AB = array([[14, 2], [2, 14]])

K = array([[15, -3, 5, -1], [-3, 15, -1, 5], [5, -1, 15, -3], [-1, 5, -3, 15]])

# Hadamard product
assert (array_equal(A * B, H))

# Ordinary matrix product
assert (array_equal(A @ B, AB))

# Kronecker Product
assert (array_equal(kron(A, B), K))

---

参考

• Hadamard Product：https://www.maixj.net/misc/hadamard-product-19256
• Hadamard product：https://www.johndcook.com/blog/2018/10/10/hadamard-product/
• Kronecker Products：https://archive.siam.org/books/textbooks/OT91sample.pdf
• On the Kronecker Product：https://www.math.uwaterloo.ca/~hwolkowi/henry/reports/kronthesisschaecke04.pdf
• 矩阵乘法的定义：https://baijiahao.baidu.com/s?id=1676409898205090544&wfr=spider&for=pc