线性代数基础知识

thxiehuimin

已于 2022-03-24 13:34:07 修改

阅读量1.7k

点赞数 5

文章标签：线性代数 PCA 最小二乘法

于 2019-03-28 13:04:11 首次发布

本文链接：https://blog.csdn.net/thxiehuimin/article/details/88841673

版权

线性代数：基础定义

标量（scalar）：一个实数，只有大小，没有方向
$s\in \mathbb{R}$
向量（vector）：一维数组，可以把向量看做空间中的点
- 将特征数值化，向量化
  $\boldsymbol{x}=\left[ \begin{array}{c} x_1\\ x_2\\ \vdots\\ x_n\\ \end{array} \right]$
矩阵（matrix）：二维数组
$\text{如果A的维度是} m \times n: A\in \mathbb{R}^{m\times n} \\ A=\left[ \begin{matrix} x_{11}& x_{12}& x_{13}\\ x_{21}& x_{22}& x_{23}\\ \end{matrix} \right] \,\,$
张量（tensor）：多维数组
$A\in \mathbb{R}^{m\times n\times l} \\ \text{张量坐标为}\left( i,j,k \right) \text{的元素为}A_{ijk}$
矩阵中的列向量与行向量：
$A=\left[ \begin{matrix} a_{11}& a_{12}& \cdots& a_{1n}\\ a_{21}& a_{22}& \cdots& a_{2n}\\ \vdots& \vdots& \ddots& \vdots\\ a_{m1}& a_{m2}& \cdots& a_{mn}\\ \end{matrix} \right]$
矩阵中的第j列为 $a_j$
$A=\left[ \begin{matrix} |& |& \cdots& |\\ a_1& a_2& \cdots& a_n\\ |& |& \cdots& |\\ \end{matrix} \right]$
矩阵中的第i行为 $a_i^T$
$A=\left[ \begin{matrix} —& a_{1}^{T}& —\\ —& a_{2}^{T}& —\\ \cdots& \cdots& \cdots\\ —& a_{m}^{T}& —\\ \end{matrix} \right]$

python里的一些矩阵操作，先引入一些包

import numpy as np
import scipy as sp
import pandas as pd

# 访问矩阵：
a= np.array([[1, 2, 3], [4, 5, 6]])
print(a[0][1]) # output：2
print(a[0,:]) # output：[1, 2, 3]
# 标量 向量 矩阵 张量
scalar = 1
vector = np.array([1, 2, 3, 4])
matrix = np.random.randint(low=0, high=10, size=(2, 3))
tensor = np.random.randint(low=0, high=10, size=(2, 3, 4))

线性代数: 矩阵乘积和转置

矩阵的乘积:
$\begin{aligned} & A\in \mathbb{R}^{m\times n},\,B\in \mathbb{R}^{n\times p}\Rightarrow C= AB\in \mathbb{R}^{m\times p} \\ & C_{ij}= \sum_{k=1}^n{A_{ik}B_{kj}} \end{aligned}$

矩阵 $A_{mn}$ 的列数 $n$ 需要等于矩阵 $B_{np}$ 的行数 $n$
向量的内积（inner product or dot product）：
$x^Ty\,\,\in \,\,\mathbb{R}=\left[ x_1\,\,x_2\,\,\cdots \,\,x_n \right] \left[ \begin{array}{c} y_1\\ y_2\\ \vdots\\ y_n\\ \end{array} \right] =\sum_{i=1}^n{x_iy_i}$
向量的外积（outer product）：
$xy^T\in \,\,\mathbb{R}=\left[ \begin{array}{c} x_1\\ x_2\\ \vdots\\ x_m\\ \end{array} \right] \left[ y_1\,\,y_2\,\,\cdots \,\,y_n \right] ==\left[ \begin{matrix} x_1y_1& x_2y_2& \cdots& x_1y_n\\ x_1y_1& x_2y_2& \cdots& x_2y_n\\ \vdots& \vdots& \ddots& \vdots\\ x_my_1& x_my_2& \cdots& x_my_n\\ \end{matrix} \right]$
矩阵乘积分配律和结合律，但没有交换律！
$\begin{aligned} & A\left( B+C \right) =AB+AC \\ & A\left( BC \right) =\left( AB \right) C \\ & AB\ne BA \end{aligned}$
当 $A B$ 可以做乘积，但 $B A$ 不一定能做乘积，如 $A_{mn}$ · $B_{np}$ ，当 $\ne m$ 时，不可 $B_{np}$ · $A_{mn}$
矩阵的转置：
$\begin{aligned} & \left( A^T \right) _{i,j}=A_{ji} \\ & A=\left[ \begin{matrix} x_{11}& x_{12}\\ x_{21}& x_{22}\\ x_{31}& x_{32}\\ \end{matrix} \right] \Rightarrow A^T=\left[ \begin{matrix} x_{11}& x_{21}& x_{31}\\ x_{12}& x_{22}& x_{32}\\ \end{matrix} \right] \\ & \left( A+B \right) ^T=A^T+B^T \\ & \left( AB \right) ^T=B^TA^T \end{aligned}$
$A_{mn}$
$B_{np}$
$A_{mn}$ $B_{np}$ = $C_{mp}$

$A_{mn})^T$ = $A_{nm}^T$
$B_{np})^T$ = $B_{pn}^T$
$A_{mn}B_{np})^T$