CTR 预测理论（二十五）：矩阵和向量乘法总结

最新推荐文章于 2024-07-15 01:04:51 发布

dby_freedom

最新推荐文章于 2024-07-15 01:04:51 发布

阅读量852

点赞数

文章标签：线性代数算法机器学习人工智能

本文链接：https://blog.csdn.net/dby_freedom/article/details/104899742

版权

推荐系统中常涉及矩阵、向量乘法，此处结合现有文献做一个小结，仅用于学习交流使用。

1. 矩阵乘法

矩阵乘积(matrix product，也叫matmul product)： $A_{m\times n} \cdot B_{n \times p} = C_{m \times p}$ ， $A$ 的列数必须和 $B$ 的行数相等， $C_{i, j}=\sum_{k=1}^{n} A_{i, k} B_{k, j}$ 。

Hadamard product(又称element-wise product)：用 $\odot$ 或者 $\circ$ 表示， $\odot B$ 对应元素相乘，二者维数必须相同，举例：
$\left[\begin{array}{ll}a_{11} & a_{12} \\a_{21} & a_{22}\end{array}\right] \odot\left[\begin{array}{ll}b_{11} & b_{12} \\b_{21} & b_{22}\end{array}\right]=\left[\begin{array}{ll}a_{11} b_{11} & a_{12} b_{12} \\a_{21} b_{21} & a_{22} b_{22}\end{array}\right]$
Kronecker product(克罗内克积)：用 $\otimes$ 表示，两个任意大小矩阵间的运算， $A_{m \times n} \cdot B_{p \times q}=C_{m p \times n q}$ ， $A$ 的每个元素逐个与矩阵 $B$ 相乘。
$\left[\begin{array}{cc}a_{11} & a_{12} \\a_{21} & a_{22}\end{array}\right] \otimes\left[\begin{array}{cc}b_{11} & b_{12} \\b_{21} & b_{22}\end{array}\right]=\left[\begin{array}{cccc}a_{11} b_{11} & a_{11} b_{12} & a_{12} b_{11} & a_{12} b_{12} \\a_{11} b_{21} & a_{11} b_{22} & a_{12} b_{21} & a_{12} b_{22} \\a_{21} b_{11} & a_{21} b_{12} & a_{22} b_{11} & a_{22} b_{12} \\a_{21} b_{21} & a_{21} b_{22} & a_{22} b_{21} & a_{22} b_{22}\end{array}\right]$
矩阵乘积的常用性质：

结合律： $A (B + C) = A B + A C$

分配律： $A (B C) = (A B) C$

交换律：绝大多数情况不满足交换律，即大多数情况下 $\ne BA$ 。

2. 向量乘法

向量点积/内积(Inner Product, dot product)：用 $\cdot$ 表示，两个向量的行列数必须相同，点乘的结果是对应位元素相乘后求和，是一个标量，举例：
$\begin{array}{c}a=\left(a_{1}, a_{2}, \cdots, a_{n}\right) \\b=\left(b_{1}, b_{2}, \cdots, b_{n}\right) \\a \cdot b=a_{1} b_{1}+a_{2} b_{2}+\cdots+a_{n} b_{n}\end{array}$
点乘的几何意义：点乘可以用来计算两个向量的夹角 $\theta = \frac{a \cdot b}{|a||b|}$ 。

dot product 和 inner product 其实还是有区别的，目前暂时将二者视为同一个概念，后续再来细究！！！

向量外积(Outer product)：外积的结果是一个矩阵，用 $\otimes$ 表示，举例；
$\begin{array}{c}u=\left(u_{1}, u_{2}, \cdots, u_{m}\right) \\v=\left(v_{1}, v_{2}, \cdots, v_{n}\right) \\u \otimes v=\left[\begin{array}{ccccc}u_{1} v_{1} & u_{1} v_{2} & \cdots & u_{1} v_{n} \\u_{2} v_{1} & u_{2} v_{2} & \cdots & u_{2} v_{n} \\\vdots & \vdots & \ddots & \vdots \\u_{m} v_{1} & u_{m} v_{2} & \cdots & u_{m} v_{n}\end{array}\right]\end{array}$
向量叉积(Cross product)：叉乘的结果是一个向量，使用符号 $\times$ ，举例：
$\begin{aligned}&a=\left(x_{1}, y_{1}, z_{1}\right)\\&b=\left(x_{2}, y_{2}, z_{2}\right)\\&a \times b=\left|\begin{array}{ccc}i & j & k \\x_{1} & y_{1} & z_{1} \\x_{2} & y_{2} & z_{2}\end{array}\right|=\left(y_{1} z_{2}-y_{2} z_{1}\right) i+\left(z_{1} x_{2}-z_{2} x_{1}\right) j+\left(x_{1} y_{2}-x_{2} y_{1}\right) k\\&i=[1,0,0], j=[0,1,0], k=[0,0,1]\end{aligned}$
叉乘的几何意义：向量叉乘的结果是两个向量的法向量，举个例子： $a$ 是 $x$ 轴的单位向量， $b$ 是 $y$ 轴的单位向量，二者叉乘的结果就是 $z$ 轴的单位向量。
$\begin{array}{c}a=(1,0,0) \\b=(0,1,0) \\i=(1,0,0) \\j=(0,1,0) \\k=(0,0,1) \\a \times b=\left|\begin{array}{ccc}i & j & k \\1 & 0 & 0 \\0 & 1 & 0\end{array}\right|=(0 \times 0-0 \times 1) i+(0 \times 0-0 \times 1) j+(1 \times 1-0 \times 0) k=k\end{array}$

3. 总结

矩阵乘法	符号	说明
matmul product	$\cdot$	一般的矩阵乘积
Hadamard product	$\odot$ 或者 $\circ$ 表示	element-wise，逐元素对应乘积
Kronecker product (克罗尔克积)	$\otimes$	任意形状矩阵相乘