【深度学习数学工具】Hadamard乘积

Hadamard乘积（也称为逐元素乘积、点乘或Schur乘积）是两个矩阵之间的一种操作，它产生一个新的矩阵，新矩阵中的每个元素是原始两个矩阵中对应位置元素的乘积。对于两个形状相同的矩阵$A$和$B$，它们的Hadamard乘积$C=A\circ B$定义为：

$C_{ij}=A_{ij}\times B_{ij}$

其中$C_{ij}$、$A_{ij}$和$B_{ij}$分别是矩阵$C$、$A$和$B$在第$i$行第$j$列的元素。

特点

1. 尺寸一致性：只有当两个矩阵的维度完全相同时，Hadamard乘积才有定义。
2. 逐元素操作：Hadamard乘积是逐元素进行的，每个元素的计算相互独立。
3. 应用广泛：在神经网络中，Hadamard乘积常用于逐元素的激活函数应用、门控机制（如LSTM和GRU中的遗忘门和输入门）以及其他逐元素操作。

例子

假设有两个2x2矩阵$A$和$B$：

$A=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right),B=\left(\begin{array}{cc}w& x\\ y& z\end{array}\right)$

它们的Hadamard乘积$C$将是：

$C=A\circ B=\left(\begin{array}{cc}aw& bx\\ cy& dz\end{array}\right)$

数学性质

Hadamard乘积具有以下数学性质：

• 交换律：$A\circ B=B\circ A$
• 分配律：$A\circ (B+C)=A\circ B+A\circ C$
• 结合律：$A\circ (B\circ C)=(A\circ B)\circ C$

Hadamard乘积是矩阵运算中一种基本而强大的工具，它简单且高效，广泛应用于数组、矩阵处理和深度学习领域。