【深度学习pytorch-3】阿达玛积和点积-CSDN博客

本文链接：https://blog.csdn.net/m0_69378371/article/details/145623565

阿达玛积 (Hadamard Product) 和点积 (Dot Product)

在数学和线性代数中，阿达玛积和点积是两种常见的向量或矩阵操作。它们有不同的定义和应用，下面我将分别介绍它们。

1. 阿达玛积 (Hadamard Product)

定义：
阿达玛积，也叫做逐元素积或元素-wise积，是两个矩阵（或向量）对应元素之间的乘积。简单来说，两个矩阵的阿达玛积就是将它们的相同位置的元素相乘，得到一个新矩阵。

计算方式：
对于两个同形的矩阵 ( A ) 和 ( B )（例如大小为 ( m \times n )），它们的阿达玛积 ( A \circ B ) 是通过对应元素相乘得到的：

$\circ B)_{i,j} = A_{i,j} \times B_{i,j}$

其中，( A_{i,j} ) 和 ( B_{i,j} ) 分别是矩阵 ( A ) 和 ( B ) 中第 ( i,j ) 个位置的元素。

示例：
假设有两个矩阵 ( A ) 和 ( B )：

$\begin{pmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \\ \end{pmatrix} , \quad B = \begin{pmatrix} 7 & 8 & 9 \\ 10 & 11 & 12 \\ \end{pmatrix}$

它们的阿达玛积 ( A \circ B ) 为：

$\circ B = \begin{pmatrix} 1 \times 7 & 2 \times 8 & 3 \times 9 \\ 4 \times 10 & 5 \times 11 & 6 \times 12 \\ \end{pmatrix} = \begin{pmatrix} 7 & 16 & 27 \\ 40 & 55 & 72 \\ \end{pmatrix}$

注意：

阿达玛积要求参与运算的矩阵必须具有相同的形状。
它与矩阵乘法（矩阵的标准乘法）是不同的。矩阵乘法是基于行与列的乘积，结果是一个新的矩阵，而阿达玛积只是逐元素相乘。

2. 点积 (Dot Product)

定义：
点积，也叫做内积，是两个向量之间的一种运算，它通过将两个向量相应位置的元素相乘并求和得到一个标量。点积可以衡量两个向量的相似性，并且在许多数学和物理应用中非常重要。

计算方式：
对于两个向量 ( \mathbf{a} ) 和 ( \mathbf{b} )，它们的点积定义为：

$\mathbf{a} \cdot \mathbf{b} = a_1 \cdot b_1 + a_2 \cdot b_2 + \cdots + a_n \cdot b_n$

其中 ( \mathbf{a} = (a_1, a_2, \dots, a_n) ) 和 ( \mathbf{b} = (b_1, b_2, \dots, b_n) ) 是两个 ( n )-维向量。

示例：
假设有两个向量：

$\mathbf{a} = (1, 2, 3), \quad \mathbf{b} = (4, 5, 6)$

它们的点积为：

$\mathbf{a} \cdot \mathbf{b} = 1 \times 4 + 2 \times 5 + 3 \times 6 = 4 + 10 + 18 = 32$

几何意义：

点积可以表示两个向量的夹角。实际上，点积的计算公式也可以表示为：

$\mathbf{a} \cdot \mathbf{b} = \|\mathbf{a}\| \|\mathbf{b}\| \cos(\theta)$

其中，( |\mathbf{a}| ) 和 ( |\mathbf{b}| ) 分别是向量 ( \mathbf{a} ) 和 ( \mathbf{b} ) 的模，( \theta ) 是它们之间的夹角。如果点积为零，则表示两个向量是正交的（即它们之间的夹角为90度）。

3. 区别

特征	阿达玛积	点积
定义	逐元素相乘得到的新矩阵。	向量的内积，结果是一个标量。
操作对象	矩阵或向量。	只有向量。
结果	得到一个与输入矩阵形状相同的矩阵。	得到一个标量（单个数值）。
形状要求	输入矩阵或向量必须相同形状。	两个向量必须有相同的维度。
计算方式	每个对应位置的元素相乘。	向量元素逐个相乘并求和。
几何意义	没有直接的几何意义。	点积的结果可以用来计算向量的夹角。

4. 应用场景

阿达玛积：
- 在神经网络中，用于逐元素地操作张量，比如在反向传播中，计算误差时对权重进行更新。
- 在某些领域，阿达玛积用于像素级的图像处理或图像融合。
点积：
- 在机器学习中，点积常用于计算向量之间的相似度（如在信息检索中计算查询与文档的相似度）。
- 在物理学中，点积用于计算力和位移之间的功。
- 在几何学中，点积常用于计算向量之间的夹角。