《深度学习》读书笔记——线性代数（2.1-2.4）

本文链接：https://blog.csdn.net/a1204942755/article/details/78205832

2.1 标量、向量、矩阵和张量

标量（scalar）:一个标量就是一个单独的数。
向量（vector）:一个向量是一列数
矩阵（matrix）:一个二维数组
张量（tensor）:一个数组中的元素分布在若干维坐标的规则网格中
转置（transpose）：矩阵的转置是以主对角线为轴的镜像
标量可以看作是只有一个元素的矩阵
向量可以看作是只有一列的矩阵
矩阵相加：矩阵形状一样+对应位置元素相加
标量*矩阵：与矩阵的每个元素相乘
标量+矩阵：与矩阵的每个元素相加

这里写图片描述

⎡ ⎣ ⎢ c 1, 1 c 2, 1 c 3, 1 c 1, 2 c 2, 2 c 3, 2 c 1, 3 c 2, 3 c 3, 3 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ a 1, 1 a 2, 1 a 3, 1 a 1, 2 a 2, 2 a 3, 2 a 1, 3 a 2, 3 a 3, 3 ⎤ ⎦ ⎥ ⎡ ⎣ ⎢ b 1 b 2 b 3 ⎤ ⎦ ⎥ = ⎡ ⎣ ⎢ a 1, 1 + b 1 a 2, 1 + b 1 a 3, 1 + b 1 a 1, 2 + b 2 a 2, 2 + b 2 a 3, 2 + b 2 a 1, 3 + b 3 a 2, 3 + b 3 a 3, 3 + b 3 ⎤ ⎦ ⎥

$\begin{bmatrix} c_{1,1}& c_{1,2} & c_{1,3} \\ c_{2,1}& c_{2,2} & c_{2,3} \\ c_{3,1}& c_{3,2} & c_{3,3} \end{bmatrix} = \begin{bmatrix} a_{1,1}& a_{1,2} & a_{1,3} \\ a_{2,1}& a_{2,2} & a_{2,3} \\ a_{3,1}& a_{3,2} & a_{3,3} \end{bmatrix} \begin{bmatrix} b_1 \\ b_2 \\ b_3 \end{bmatrix} = \begin{bmatrix} a_{1,1}+b_1& a_{1,2}+b_2 & a_{1,3}+b_3 \\ a_{2,1}+b_1& a_{2,2}+b_2 & a_{2,3}+b_3 \\ a_{3,1}+b_1& a_{3,2}+b_2 & a_{3,3}+b_3 \end{bmatrix}$

2.2 矩阵和向量相乘

矩阵乘积（矩阵*矩阵）：矩阵A的列数必须和矩阵B的行数相等

C_i,j是A的第i行和B的第j列之间的点积
$[a 1, 1 a 2, 1 a 1, 2 a 2, 2 a 1, 3 a 2, 3] ⎡ ⎣ ⎢ b 1, 1 b 2, 1 b 3, 1 b 1, 2 b 2, 2 b 3, 2 ⎤ ⎦ ⎥ = [a 1, 1 \times b 1, 1 + a 1, 2 \times b 2, 1 + a 1, 3 \times b 3, 1 a 2, 1 \times b 1, 1 + a 2, 2 \times b 2, 1 + a 2, 3 \times b 3, 1 a 1, 1 \times b 1, 2 + a 1, 2 \times b 2, 2 + a 1, 3 \times b 3, 2 a 2, 1 \times b 1, 2 + a 2, 2 \times b 2, 2 + a 2, 3 \times b 3, 2]$ $\begin{bmatrix} a_{1,1} & a_{1,2} & a_{1,3} \\ a_{2,1} & a_{2,2} & a_{2,3} \end{bmatrix} \begin{bmatrix} b_{1,1} & b_{1,2} \\ b_{2,1} & b_{2,2} \\ b_{3,1} & b_{3,2} \end{bmatrix} = \begin{bmatrix} a_{1,1}\times b_{1,1} + a_{1,2}\times b_{2,1} + a_{1,3}\times b_{3,1} & a_{1,1}\times b_{1,2} + a_{1,2}\times b_{2,2} + a_{1,3}\times b_{3,2} \\ a_{2,1}\times b_{1,1} + a_{2,2}\times b_{2,1} + a_{2,3}\times b_{3,1} & a_{2,1}\times b_{1,2} + a_{2,2}\times b_{2,2} + a_{2,3}\times b_{3,2} \end{bmatrix}$
元素对应乘积（Hadamard乘积）：两个矩阵中对应元素的乘积
$[a 1, 1 a 2, 1 a 1, 2 a 2, 2 a 1, 3 a 2, 3] [b 1, 1 b 2, 1 b 1, 2 b 2, 2 a 1, 3 a 2, 3] = [a 1, 1 \times b 1, 1 a 2, 1 \times b 2, 1 a 1, 2 \times b 1, 2 a 2, 2 \times b 2, 2 a 1, 3 \times b 1, 3 a 2, 3 \times b 2, 3]$ $\begin{bmatrix} a_{1,1} & a_{1,2} & a_{1,3} \\ a_{2,1} & a_{2,2} & a_{2,3} \end{bmatrix} \begin{bmatrix} b_{1,1} & b_{1,2} & a_{1,3}\\ b_{2,1} & b_{2,2} & a_{2,3} \end{bmatrix} = \begin{bmatrix} a_{1,1}\times b_{1,1} & a_{1,2}\times b_{1,2} & a_{1,3}\times b_{1,3} \\ a_{2,1}\times b_{2,1} & a_{2,2}\times b_{2,2} & a_{2,3}\times b_{2,3} \end{bmatrix}$
矩阵乘积性质
分配律：A（B+C）= AB + AC
结合律：A（BC）=（AB）C
乘积的转置：（AB）^T=B^TA^T
两个向量点积的结果是标量，标量转置是自身x^Ty=(x^Ty)^T=y^Tx